布隆（Bloom）过滤器
本文还是对《区块链：原理、设计与应用》的一个基础技术的总结和摘录。 散列的本质，是把任意内容，映射成固定长度的内容域里的某一个内容。 布隆过滤器的本质，是在常数时间内回答，“一个元素是否在一个集合内”的问题。 直观的方法及其缺陷 假设我们总可以把任意内容映射到某一个数组的 item 上，那么只要看看那个数组的 item 是否为空，就可以确认某一个内容是否存在。然而现实之中，一个数组总是会产生冲突，操作性能会因为局部冲突而产生退化。 多重散列的布隆过滤器 布隆过滤器的原理很简单，就是插入元素时，在一个容量为 m 的bit数组上， 用 k 要确认某个内容是否存在，可以使用布隆过滤器（Bloom Filter），它是一种高效的空间节省型数据结构，用于快速判断一个元素是否属于某个集合。以下是关键点总结： 布隆过滤器工作原理 插入元素：使用 k 个不同的哈希函数将元素映射到位数组（bit array）中的 k 个位置，并将这些位置标记为1。 查询元素：同样使用 k 个哈希函数查找对应的 k 个位置，如果所有位都是1，则认为该元素可能存在；如果至少有一个位是0，则该元素一定不存在。 ...
Merkle Tree
本文还是对《区块链：原理、设计与应用》的一个基础技术的总结和摘录。 默克尔树的特点 默克尔树是多层散列表（Hash List），目的是做多层摘要，把对多个 item 的校验，转化为对一个 item 的校验。 默克尔树可以是二叉树，也可以是多叉树。 叶子节点是 item 的 value 和 value 的散列值。中间每一层的值，都是它们子女散列值的和的散列值-多叉树的结果就是多个散列值加法的结果的再散列，孤儿的计算结果就是在孤儿散列值上进行再散列。 默克尔树的用途 快速比较大量数据 两组数据的排序后构建默克尔树，只要比较两个树的root 就可以确定两组数据是否一样。 快速 diff 如果默克尔树是二叉树，则只要从 root 开始做二分的 diff，就能快速定位到不一致的叶子节点。这在 p2p 传输文件数据的场景里非常有用。实际上 rsync 的 diff 算法就是一个一层的 Hash List ， 零（部分知识）知识证明 所谓的零知识证明，就是不告诉 verifier 验证一个论断真伪的全部信息。只提供部分信息，就可以让 verifier 相信某个事情是真...
CoffeeScript2 简明教程
写在前面的话 之前在工作群里看到一个排行榜: 在羡慕美国同行的薪水超高的同时，也奇怪为何 CoffeeScript 的生命力超过了自己之前的想象。 JavaScript 本是 Brendan Eich 在10天内做完的急就章之作，在设计之初，即带有大量的大意设计和缺陷。可以说，即使到了 1.5 时代，JavaScript 作为一门现代语言，依然要提防 Douglas Crockford 在《JavaScript:The Good Parts》中提出的种种陷阱。历年来，各路框架作者和超集语言作者，都不断在 JavaScript 上做出各种各样炫目的模式用法和衍生方言，足见其可提高空间之大。包括 CoffeeScript/TypeScript/Dart/Elm 等解决方案的出现，其实就是在倡导使用 Pre-JavaScript 的语言编写抽象逻辑，然后编译成原生 JavaScript 运行。 CoffeeScript 即是 JavaScript 1.5 时代的 Pre-JavaScript 语言中的佼佼者。其设计的语法和句法利用了 Ruby 和 Python 的优点...
client 与 server
client 模式 默认的jit编译器，c1。 默认的gc：serial-serial old。 需要更短的启动时间和初始堆大小，能做更保守的优化。 默认-Xms是1M，-Xmx是64M。 适合 GUI 程序。 server 模式 默认的jit编译器，c2。 默认的gc：ps-serial old即 PS MarkSweep（可以启用parallel old）。 需要更长的启动时间和更大的堆大小，能够做更有深度的优化。 默认-Xms是128M，-Xmx是1024M。 适合长时间运转的程序。 64 位JVM# 在64位 JVM 上有个 -d64 的模式，实际上就是禁止client模式单独启动，只允许server模式或者混合编译模式启动的模式。
函数缓存 memoize
12345678const memoize = pureFunc => { const cache = {}; return function() { const argStr = JSON.stringify(arguments); cache[argStr] = cache[argStr] || pureFunc.apply(pureFunc, arguments); return cache[argStr]; };};
读书--拓展你的认知边界
新的书在不断打破认知边界，以前都是机械的方法论世界观的书，现在出了打通一切关于进化的书。 如何读书？# 《如何阅读一本书》，《快速阅读》。 如何选书？ 跟主题，跟作者，跟大牛。不要看编著的书。 李善友的书单。 怎么有时间去看书？ 亚马逊的推荐比京东准。 找固定板的时间看书。 Kindle 电子书和纸板书怎么选？ 精华书都买 实在没时间，怎么办？# 樊登读书会 得到 听书 从哪里开始 从扉页来判断，从序言来判断一下。 读书最好抛弃论据和论证，而要寻找宏旨。 听书完，还是要自己看。
JSX
简介 JSX 是点缀着 XML 元素的 JavaScript。它是由 React 这个库最初构思出来的，但又不是专门为了某个库或者框架设计的。它是一种 DSL。 JSX 是 html in JavaScript 的一种很好体现。这里的 XML，实际上还是 html 元素。粗略看下来，和当初 backbone 写 rendertemplate 的函数差不多。要引入 JSX 的语法，在很多场景下都要引入 Babel 这个 transpiler，也就是要搞到工具链满天飞。照抄官网的例子的话，可以看到： 12345678910111213141516171819<!DOCTYPE html> <html> <head> <meta charset="UTF-8" /> <title>Hello React!</title> <script src="vendor-js/react.js"></script> <s...
虚拟机
虚拟机意味着单独的指令集体系结构（ISA Instruction Set Architecture）。
为什么要自建实时计算平台
#为什么要自建一个离线平台# 可以优化资源利用率。 业务平台应该把精力放在业务上。 #什么是实时计算# 强调响应时间短（相对于离线计算）：毫秒级、亚秒级、秒级。T+1 的报表都是离线计算。 数据的价值随着时间的流逝而迅速降低。 常见技术方案： 流计算 + 实时存储 or 消息队列 流计算 + 实现 OLAP #什么是流式计算# 实时且无界。 数据驱动计算，事件触发。 有状态及持续集成。 流计算引擎：Spark Streaming、Flink Streaming、Storm/JStorm、Samza 等。 #Spark Streaming 模型# Micro-Batch 模式。看起来是流式处理的，实际上还是一小批一小批处理的。从批处理走到流处理。 最小延时：batch 的处理时间 最大延时：batch interval（通常2s-10s） + batch 处理时间。 使用场景：数据清洗（实时数据通道）、数据 ETL 等。 对于熟悉 Spark 批处理的 RD 非常容易上手。 #Flink Streaming# Native Streaming。 低延时，通常在毫秒...
Golang 并发的一些我自己才看得懂的总结
Goroutine 与调度器 Goroutine 是绿色线程（Green Thread），运行在 Go 运行时的调度器之上。调度器实现了 M:N 模型，即 M 个系统线程调度 N 个 Goroutine。Goroutine 可以在 syscall 进入阻塞状态时自动出让 CPU，类似于 Java 在进入锁以前自动引入自旋，这实际上是一种抢占式调度（Preemptive Scheduling）。也可以通过 runtime.Gosched() 主动出让 CPU。 调度器还可能无缘由地主动抢占 Goroutine 的时间片（比如已经运行了 10ms）。因为是绿色线程，所以可以很便宜地创造百万 Goroutine。在 Go 1.5 以后，可以通过 GOMAXPROCS 来使用更多的逻辑 CPU（而不是系统进程）来利用多核。主线程不是主线程，主线程也是一个 main goroutine。 Go 关键字基本就等同于 Java 中提交一个 Runnable 到 CompletableFuture 的 CommonPool。在没有 Channel 的帮助时，goroutine 几乎可以等同于一个...
