守株阁

Spark SQL的发展历程 为了给熟悉的 RDBMS 但又不理解 MapReduce 的技术人员提供快速上手的工具，Hive 应运而生，他是当时唯一运行在 Hadoop 上的SQL-On-Hadoop 工具。 但是 MapReduce 计算过程中大量的中间磁盘落地过程消耗了大量的 I/O，降低的运行效率，为了提高 SQL 的执行效率，大量的 SQL-On-Hadoop工具开始产生，而 Shark 是其中一个表现较为突出的项目。 Shark是伯克利实验室 Spark 生态环境的组件之一，它主要修改了内存管理，物理计划和执行三个模块，值得它能运行在 Spark 的引擎上，从而提高 SQL 查询的效率。 但是随着 Spark 的发展，Shark 对 Hive 过多的依赖制约了 Spark 的设计理念和各个组件之间的相互继承，所以 Spark 团队停止了对 Shark 的开发，提出了 SparkSQL 项目。 因为摆脱了Hive 的过度依赖，Spark SQL在数据兼容性，性能优化和组件扩展等各个方面都得到了极大的方便和发展。 提出了 SparkSQL 项目之后，SQL On Spar...

先发未必先到，关键性的因素可能在中后半段才起作用。 代差很可怕，代差带来的结果是压倒性的，难以逆转和抗拒的。 直接因素是什么，终极因素是什么？点在哪里，面是什么？ 地久天长的力量：群体的理解是深刻的，但对更大的事物的理解是盲目的-更地久天长的东西往往更大，而更大的东西越需要接力赛式的理解。这就是得天独厚的意义。 天造地设的差异，往往影响非常深刻。有些东西的潜力很大，有些东西的潜力很小。有些东西的潜力易于发觉，因为盲区很小；而有些东西的潜力难于发觉，需要更长的时间来观察-如果这一过程没有被外来的其他力量所中断的话。 两拨农民，都是文盲。一拨农民的祖先长期和从驯化动物得来的病菌作斗争，带有免疫力和另一拨农民作者，对另一拨农民是灭顶之灾-欧洲的拓殖者就是这样消灭美洲的原住民的，这样的军队才是最可怕的。从这个角度来看，被保护得很好的群体，未必能够在历史长河中获胜，因为他们不知道竞争力差异也许来自一个意想不到的维度。 安娜卡列尼娜法则：关注导致失败的因素更重要，导致失败的因素比想象中多。 熊不可养太大，养到一岁就就可以小心为妙了-俄罗斯人恐怕不同意。 纬度对生物的影响，比经度要大，从最南...

AOP 全景概览 核心问题定义 面向切面编程（Aspect-Oriented Programming，AOP）的核心目标是将横切关注点（Cross-cutting Concerns）从业务逻辑中分离出来。横切关注点是指那些散布在系统多个模块中的通用功能，如日志记录、事务管理、安全检查、性能监控等。在传统的面向对象编程中，这些功能往往需要在多个类中重复实现，导致代码冗余和耦合度增加。AOP 通过将这些横切关注点模块化为切面（Aspect），在不修改原有业务逻辑代码的情况下，实现对目标对象的增强。 核心概念速查表 概念 定义 Aspect 切面，横跨多个类的模块化关注点，通常由多个 Pointcut 和 Advice 组成 JoinPoint 连接点，程序执行过程中的特定位置，在 Spring AOP 中通常指方法执行点 Pointcut 切点，匹配 JoinPoint 的谓词表达式，定义 Advice 在何处执行 Advice 通知，切面在特定 JoinPoint 执行的动作，包括 Before、After、Around、AfterReturning、Af...

ThreadLocal 是 Java 并发编程中实现**线程封闭（Thread Confinement）**的核心工具。本文将从原理到实践，系统性地讲解 ThreadLocal 的设计哲学、内部机制、使用模式以及跨线程传递方案。 原理篇：ThreadLocal 的内部机制 核心设计理念：为什么不用 Map<Thread, Value>？ 很多人初次设计线程本地存储时，会想到用一个全局的 Map<Thread, Value> 来存储每个线程的数据。但这种设计有致命缺陷：Thread 对象会被 Map 强引用，导致线程无法被 JVM 回收，造成严重的内存泄漏。 ThreadLocal 采用了相反的设计：让 Thread 持有 Map，而不是让 Map 持有 Thread。每个 Thread 内部都有一个 ThreadLocalMap，用于存储该线程的所有线程本地变量。这样设计的好处是： 线程销毁时，ThreadLocalMap 随之销毁，数据自动清理 ThreadLocal 对象可以被显式管理（如声明为静态变量） 线程内部的存储容器是隐式的，由线程自己管理 ...

Java 的原生注解 meta annotation @Inherited @Inherited 是一个元注解（annotations applied to other annotations 注解其他注解的注解），也是一个标记注解，@Inherited阐述了某个被标注的类型是被继承的。 **@Inherited annotation类型是被标注过的class的子类所继承。类并不从它所实现的接口继承annotation，方法并不从它所重载的方法继承annotation。**其查找过程是：反射 API 会在查找 @Inherited 标注的注解的时候，自底向上往继承树上方查找。 12345678910111213141516171819202122@Inherited@Retention(RetentionPolicy.RUNTIME)@Target(ElementType.TYPE)public @interface MyAnnotation { String value() default "Default Value";}@MyA...

修复文件不能打开的问题 《应用程序不能打开？一条命令就搞定！》 显示隐藏文件 在 macOS Sierra，我们可以使用快捷键： command + shift + . 来快速（在 Finder 中）显示和隐藏隐藏文件。 Mac 出现正在运行安装包脚本或等待其他安装完成的解决办法 Mac 出现正在运行安装包脚本或等待其他安装完成的解决办法 打开 Mac 触控板的三指拖移功能 打开 Mac 触控板的三指拖移功能 macOS 修改 Hosts macOS 修改 Hosts 显示隐藏文件夹 Mac系统如何显示隐藏文件？ Command+Shift+. 可以显示隐藏文件、文件夹，再按一次，恢复隐藏； 1234# showdefaults write com.apple.finder AppleShowAllFiles -boolean true ; killall Finder# hidedefaults write com.apple.finder AppleShowAllFiles -boolean false ; killall Finder 如何清洁苹果产品 如何清洁 App...

Optional 的不正确实践 显式 if-else 本身合法。取得 Optional 中的 User 后，才能调用 User 的方法；Optional<User> 没有 getOrders()： 123456Optional<User> user = findUser(id);if (user.isPresent()) { return user.get().getOrders();} else { return Collections.emptyList();} get() 在 empty 时抛出 NoSuchElementException；此例先检查存在性。如果只需要映射结果和缺省值，map(...).orElseGet(...) 可以减少显式解包。 Optional 主要用于可能无结果的方法返回值。用作 POJO 字段时需核对序列化、持久化与框架绑定契约，不因字段用了 Optional 就推导框架支持。 参数是否使用 Optional 取决于调用契约。调用者需要明确传入“缺席”时可以采用这种签名...

所谓5why分析法，又称“5问法”，也就是对一个问题点连续以5个“为什么”来自问，以追究其根本原因。 虽为5个为什么，但使用时不限定只做“5次为什么的探讨”，主要是必须找到根本原因为止,有时可能只要3次，有时也许要10次，如古话所言：打破砂锅问到底。 5why法的关键所在：鼓励解决问题的人要努力避开主观或自负的假设和逻辑陷阱，从结果着手，沿着因果关系链条，顺藤摸瓜，直至找出原有问题的根本原因。 介绍 这种方法最初是由丰田佐吉提出。后来，丰田汽车公司在发展完善其制造方法学的过程之中，也采用了这一方法。 作为丰田生产系统（Toyota Production System）的入门课程的组成部分，这种方法成为其中问题求解培训的一项关键内容。丰田生产系统的设计师大野耐一曾经将五问法描述为：“……丰田科学方法的基础……重复五次，问题的本质及其解决办法随即显而易见。” 目前，该方法在丰田之外已经得到了广泛采用，并且现在持续改善法（Kaizen），精益生产法（lean manufacturing）以及六西格玛法之中也得到了采用。 关键点 5why的”5“并不是问题的数量 5why的”5“指...

个人二要素 个人银行卡三要素 个人银行卡四要素 个人运营商三要素 企业二要素 企业三要素 企业四要素 企业验卡二要素

log 历史 阶段 阶段 阶段 阶段 阶段 log4j apache commons logging（JCL） log4j2 JUL simple log logback + slf4j 多个项目使用不同的 logging 库 + 传递依赖等于依赖管理不规范，日志库泛滥以至互斥。 具体框架与门面 所谓的日志框架，指的是日志输出的具体实现，常见的日志框架包括但不仅限于 JUL（Java Util Logging）、Log4j、Log4j2 和 Logback。这些框架的功能不尽相同，比如有些框架支持友好地打印异常，有些不支持，有些框架不支持，不同的框架的日志级别也各有差异。 因此，诞生了日志门面。所谓的门面，就是“使用一个中间层解耦”这一具体思想的应用。使用了门面，可以屏蔽日志使用者对于具体差异的依赖，既让代码变得整洁，而且可以简单地切换实现而不需要修改代码。没有日志门面，不足以统一日志框架的使用。 log facade（定义 interface，早期的 JCL 时代，facade 也被叫做接口）-> log imp...