守株阁

交易系统.xmind

Spark SQL的发展历程 为了给熟悉的 RDBMS 但又不理解 MapReduce 的技术人员提供快速上手的工具，Hive 应运而生，他是当时唯一运行在 Hadoop 上的SQL-On-Hadoop 工具。 但是 MapReduce 计算过程中大量的中间磁盘落地过程消耗了大量的 I/O，降低的运行效率，为了提高 SQL 的执行效率，大量的 SQL-On-Hadoop工具开始产生，而 Shark 是其中一个表现较为突出的项目。 Shark是伯克利实验室 Spark 生态环境的组件之一，它主要修改了内存管理，物理计划和执行三个模块，值得它能运行在 Spark 的引擎上，从而提高 SQL 查询的效率。 但是随着 Spark 的发展，Shark 对 Hive 过多的依赖制约了 Spark 的设计理念和各个组件之间的相互继承，所以 Spark 团队停止了对 Shark 的开发，提出了 SparkSQL 项目。 因为摆脱了Hive 的过度依赖，Spark SQL在数据兼容性，性能优化和组件扩展等各个方面都得到了极大的方便和发展。 提出了 SparkSQL 项目之后，SQL On Spar...

先发未必先到，关键性的因素可能在中后半段才起作用。 代差很可怕，代差带来的结果是压倒性的，难以逆转和抗拒的。 直接因素是什么，终极因素是什么？点在哪里，面是什么？ 地久天长的力量：群体的理解是深刻的，但对更大的事物的理解是盲目的-更地久天长的东西往往更大，而更大的东西越需要接力赛式的理解。这就是得天独厚的意义。 天造地设的差异，往往影响非常深刻。有些东西的潜力很大，有些东西的潜力很小。有些东西的潜力易于发觉，因为盲区很小；而有些东西的潜力难于发觉，需要更长的时间来观察-如果这一过程没有被外来的其他力量所中断的话。 两拨农民，都是文盲。一拨农民的祖先长期和从驯化动物得来的病菌作斗争，带有免疫力和另一拨农民作者，对另一拨农民是灭顶之灾-欧洲的拓殖者就是这样消灭美洲的原住民的，这样的军队才是最可怕的。从这个角度来看，被保护得很好的群体，未必能够在历史长河中获胜，因为他们不知道竞争力差异也许来自一个意想不到的维度。 安娜卡列尼娜法则：关注导致失败的因素更重要，导致失败的因素比想象中多。 熊不可养太大，养到一岁就就可以小心为妙了-俄罗斯人恐怕不同意。 纬度对生物的影响，比经度要大，从最南...

AOP 全景概览 核心问题定义 面向切面编程（Aspect-Oriented Programming，AOP）的核心目标是将横切关注点（Cross-cutting Concerns）从业务逻辑中分离出来。横切关注点是指那些散布在系统多个模块中的通用功能，如日志记录、事务管理、安全检查、性能监控等。在传统的面向对象编程中，这些功能往往需要在多个类中重复实现，导致代码冗余和耦合度增加。AOP 通过将这些横切关注点模块化为切面（Aspect），在不修改原有业务逻辑代码的情况下，实现对目标对象的增强。 核心概念速查表 概念 定义 Aspect 切面，横跨多个类的模块化关注点，通常由多个 Pointcut 和 Advice 组成 JoinPoint 连接点，程序执行过程中的特定位置，在 Spring AOP 中通常指方法执行点 Pointcut 切点，匹配 JoinPoint 的谓词表达式，定义 Advice 在何处执行 Advice 通知，切面在特定 JoinPoint 执行的动作，包括 Before、After、Around、AfterReturning、Af...

ThreadLocal 是 Java 并发编程中实现**线程封闭（Thread Confinement）**的核心工具。本文将从原理到实践，系统性地讲解 ThreadLocal 的设计哲学、内部机制、使用模式以及跨线程传递方案。 原理篇：ThreadLocal 的内部机制 核心设计理念：为什么不用 Map<Thread, Value>？ 很多人初次设计线程本地存储时，会想到用一个全局的 Map<Thread, Value> 来存储每个线程的数据。但这种设计有致命缺陷：Thread 对象会被 Map 强引用，导致线程无法被 JVM 回收，造成严重的内存泄漏。 ThreadLocal 采用了相反的设计：让 Thread 持有 Map，而不是让 Map 持有 Thread。每个 Thread 内部都有一个 ThreadLocalMap，用于存储该线程的所有线程本地变量。这样设计的好处是： 线程销毁时，ThreadLocalMap 随之销毁，数据自动清理 ThreadLocal 对象可以被显式管理（如声明为静态变量） 线程内部的存储容器是隐式的，由线程自己管理 ...

Java 的原生注解 meta annotation @Inherited @Inherited 是一个元注解（annotations applied to other annotations 注解其他注解的注解），也是一个标记注解，@Inherited阐述了某个被标注的类型是被继承的。 **@Inherited annotation类型是被标注过的class的子类所继承。类并不从它所实现的接口继承annotation，方法并不从它所重载的方法继承annotation。**其查找过程是：反射 API 会在查找 @Inherited 标注的注解的时候，自底向上往继承树上方查找。 12345678910111213141516171819202122@Inherited@Retention(RetentionPolicy.RUNTIME)@Target(ElementType.TYPE)public @interface MyAnnotation { String value() default "Default Value";}@MyA...

修复文件不能打开的问题 《应用程序不能打开？一条命令就搞定！》 显示隐藏文件 在 macOS Sierra，我们可以使用快捷键： command + shift + . 来快速（在 Finder 中）显示和隐藏隐藏文件。 Mac 出现正在运行安装包脚本或等待其他安装完成的解决办法 Mac 出现正在运行安装包脚本或等待其他安装完成的解决办法 打开 Mac 触控板的三指拖移功能 打开 Mac 触控板的三指拖移功能 macOS 修改 Hosts macOS 修改 Hosts 显示隐藏文件夹 Mac系统如何显示隐藏文件？ Command+Shift+. 可以显示隐藏文件、文件夹，再按一次，恢复隐藏； 1234# showdefaults write com.apple.finder AppleShowAllFiles -boolean true ; killall Finder# hidedefaults write com.apple.finder AppleShowAllFiles -boolean false ; killall Finder 如何清洁苹果产品 如何清洁 App...

Optional 的不正确实践 首先，不要直接拿来做if-else的判定条件，这肯定是错的： 123456Optional<User> user = ...... if (user.isPresent()) { return user.getOrders();} else { return Collections.emptyList();} 而且get()要配合isPresent()才安全。 其次，尽量不要用 Optional 拿来做成员变量，特别是 pojo 的成员变量，这很容易让读 pojo 的框架出问题。 再次，不要拿来做方法参数，因为很可能写成 if (user.isPresent()) {}式的代码。 最后，Optional 的关注点在它的 value 的后续处理身上，如果这个 value 只是一个 flag，还是要乖乖地用if-else；如果这个 value 被用在多路返回里，也不能使用 Optional。 正确的用法 选对构造器 Optional.of(T value) 如果需要断言值不为空，使用这个构...

所谓5why分析法，又称“5问法”，也就是对一个问题点连续以5个“为什么”来自问，以追究其根本原因。 虽为5个为什么，但使用时不限定只做“5次为什么的探讨”，主要是必须找到根本原因为止,有时可能只要3次，有时也许要10次，如古话所言：打破砂锅问到底。 5why法的关键所在：鼓励解决问题的人要努力避开主观或自负的假设和逻辑陷阱，从结果着手，沿着因果关系链条，顺藤摸瓜，直至找出原有问题的根本原因。 介绍 这种方法最初是由丰田佐吉提出。后来，丰田汽车公司在发展完善其制造方法学的过程之中，也采用了这一方法。 作为丰田生产系统（Toyota Production System）的入门课程的组成部分，这种方法成为其中问题求解培训的一项关键内容。丰田生产系统的设计师大野耐一曾经将五问法描述为：“……丰田科学方法的基础……重复五次，问题的本质及其解决办法随即显而易见。” 目前，该方法在丰田之外已经得到了广泛采用，并且现在持续改善法（Kaizen），精益生产法（lean manufacturing）以及六西格玛法之中也得到了采用。 关键点 5why的”5“并不是问题的数量 5why的”5“指...

个人二要素 个人银行卡三要素 个人银行卡四要素 个人运营商三要素 企业二要素 企业三要素 企业四要素 企业验卡二要素