后端系统工程 20:发号服务的唯一性与失败模式
系列导航:上一篇 19 延迟任务的领取与取消 | 本篇 20 | 下一篇 21 有限能力的数据库路由代理 “生成一个唯一 ID”这句话省略了三个限定:在多大范围内唯一,在哪些故障之后仍然唯一,除了唯一还要求什么。一张订单表的主键只需在该表内不重复;跨系统传递的标识要在所有系统中不重复;作为分片键或排序键时,还会被要求大致按时间递增。不同方案对这些问题的回答不同,它们的失败模式也不同:数据库号段在进程崩溃后留下空洞,时间型标识在时钟回退时可能重复,节点号方案在两个进程误用同一节点号时必然重复。 本篇实现一个基于 PostgreSQL 的号段发号器,作为主方案验证并发取号、进程重启、数据库故障下的唯一性;再实现 UUIDv4、UUIDv7 和 Snowflake 式 64 位标识作为契约对照,用受控时钟测试时钟回退,用真实多进程测试节点号冲突。代码在 examples/20-id-service/,输出在 evidence/20/output.txt。 需求契约 号段服务的使用方只调用一个操作:为某个业务标签取下一个号。服务承诺: 同一业务标签下发出的号全局唯一,这一点在发号进程崩...
后端系统工程 19:延迟任务的领取与取消
系列导航:上一篇 18 消息队列接入与积压恢复 | 本篇 19 | 下一篇 20 发号服务的唯一性与失败模式 “三十分钟后关闭未支付的预约”“两小时后提醒参会者”,这类需求都可以写成一句话:到了某个时刻之后,执行一次某个动作。真正实现起来,这句话里的“到了”“执行”和“一次”都要重新定义。到期时刻由谁的时钟判断?多个执行者同时扫描时,谁拿到任务?执行者拿到任务后被杀死或被暂停,任务何时由别人接手?原执行者恢复后又提交结果,系统听谁的?取消请求与到期同时到达,返回给调用方的“已取消”究竟保证了什么? 本篇用 PostgreSQL 保存任务,多个独立 JVM 进程担任执行者,用真实的 kill -9 和 SIGSTOP 制造执行者失联,逐一回答这些问题。结论先写在契约里:系统允许同一任务有多次执行尝试,“一次”只落在副作用上,并且要靠唯一约束或幂等键来保证。代码在 examples/19-delayed-tasks/,输出在 evidence/19/output.txt。 需求契约 调用方可以做两件事:安排一个任务(类型、载荷、延迟、最大尝试次数),以及取消一个任务。执行者可以做四件...
后端系统工程 23:分片扩容时的数据交接
系列导航:上一篇 22 非分片键查询与全局分页 | 本篇 23 | 下一篇 24 在线变更的数据兼容 两个分片扩到三个,需要把一部分数据从旧分片搬到新分片,同时写入不停。这件事拆开看有三个难点。复制需要时间,复制期间源端还在变化,复制完的副本一出来就是旧的。路由表改了之后,已经拿着旧路由的写入方不会立刻知道,它们的写会继续打到源端。写入方遇到超时会重试,一次请求可能在源端提交了、重试却落到目标端。任何一处处理不当,结果都是某些已经告诉调用方“成功”的写,在迁移完成后不见了,或者已经删除的行又回来了。 本篇实现按桶迁移:版本化路由、快照复制、按事务水位追赶、冻结栅栏、按键与版本校验、切流。三个独立的写入进程在迁移全程持续写入、删除与重试,迁移结束后逐键核对“所有已确认写”。代码在 examples/23-shard-rebalance/,输出在 evidence/23/output.txt。 需求与不变量 数据是合成的键值记录 items(item_id, bucket, val, row_version),写操作有三种:创建(值为 0,版本 1)、增量(val += delta,...
后端系统工程 16:服务发现中的旧地址
系列导航:上一篇 15 配置发布与客户端收敛 | 本篇 16 | 下一篇 17 从持久日志构建最小消息队列 服务发现的地址集总是落后于事实。一个提供者进程被暂停、被杀死,或者与注册中心断开,注册中心要等租约过期才删除它的地址;删除事件再经过 watch 流到达消费者,消费者才停止向它发请求。这段时间里,消费者手里的地址已经指向一个不能服务的进程。服务发现做不到“没有旧地址”,能做的是把旧地址的存活时间算清楚,并给这段时间准备失败预算。 本篇用真实 etcd 3.4 实例、真实提供者进程和真实消费者进程测量这个窗口:提供者被 SIGSTOP(进程在,续租停)、被 kill -9、被优雅终止时,旧地址各存活多久;同一窗口内,带本地剔除与重试的消费者和不带的消费者各有多少次失败。另外测试三件和“不漏事件”有关的事:watch 断线后按 revision 续订、历史被压缩后全量重新同步、etcd 自身重启。负向对照两个:断线后从“现在”开始 watch 的消费者,以及恢复后不检查租约的提供者。代码在 examples/16-service-discovery/,输出在 evidence/...
后端系统工程 22:非分片键查询与全局分页
系列导航:上一篇 21 有限能力的数据库路由代理 | 本篇 22 | 下一篇 23 分片扩容时的数据交接 订单按买家 user_id 分片之后,“某个买家的订单”只落在一个库里,查询直接路由即可。“某个商户的订单,按下单时间倒序分页”就不同了:同一商户的订单散在每一个分片上,路由层手里没有能把它收窄到单个分片的条件。上一篇的路由代理对这类语句的处理是拒绝。业务上这个查询不能不做,于是有两条路:每次都问遍所有分片,再在协调方合并;或者额外维护一张按商户组织的全局索引,先查索引再回分片取数。 两条路都要回答同一组问题:翻页时同一行会不会出现两次,会不会有行永远翻不到;翻页期间有新订单写入时,边界划在哪里;索引和主数据不一致时返回什么;一次查询最多允许打到几个分片、等多久。代码在 examples/22-shard-query/,输出在 evidence/22/output.txt。 查询契约与规模假设 查询只有一种:给定 merchant_id,按 (created_at desc, order_id desc) 返回一页订单,以及一个用于取下一页的不透明游标。对它的承诺如下: 翻...
后端系统工程 17:从持久日志构建最小消息队列
系列导航:上一篇 16 服务发现中的旧地址 | 本篇 17 | 下一篇 18 消息队列接入与积压恢复 生产者收到一句“发送成功”,这句话到底承诺了什么?消息可能只是进了 broker 的内存队列,可能已经交给操作系统但还停在页缓存里,也可能已经被 fsync 刷到设备。三种状态在正常运行时看不出差别,进程崩溃、掉电或者磁盘出错时才会分开。消费端也有同样的问题:消费者读到了消息、处理了消息、提交了进度,这三件事的先后顺序决定了重启后丢消息还是重复处理。 本篇用一个单机日志队列把这些位置逐一拆开:分段追加日志、带长度与 CRC32C 的记录格式、启动时的恢复扫描、broker 管理的消费组进度,以及“确认—落盘—消费确认”三条彼此独立的线。代码在 examples/17-log-queue/,全部输出在 evidence/17/output.txt。 先划清边界:这是教学用的单机实现,没有复制,没有共识,没有多副本确认,也没有分区与再均衡。它最多只能说明“一块本地磁盘上的一个进程”在进程崩溃后能保住什么;单机磁盘损坏时数据就丢了,任何关于集群持久性的结论都不能从这里推出。 需求与保证...
后端系统工程 21:有限能力的数据库路由代理
系列导航:上一篇 20 发号服务的唯一性与失败模式 | 本篇 21 | 下一篇 22 非分片键查询与全局分页 账户表拆到两个 PostgreSQL 实例之后,每一次读写都要先回答“这一行在哪个库”。把这个问题从业务代码里拿走的常见做法,是在应用与数据库之间放一个路由层。路由层一旦被叫作“数据库代理”,读者往往默认它像一个数据库:任何 SQL 都能发,事务照常工作,会话参数照常生效。这种默认是错的。路由代理能承诺的范围,取决于它真正解析了什么、钉住了什么、拒绝了什么。 本篇实现一个能力有限的路由代理,并把限制写成接口的一部分:有限路由代理不等于兼容任意 SQL 或数据库协议。它只认一张分片表上的严格语法子集,只支持单分片事务,对子集之外的请求返回带编码的拒绝。代码在 examples/21-routing-proxy/,全部输出在 evidence/21/output.txt,证据边界见 evidence/21/LIMITS.md。 范围与不变量 业务对象是合成的测试账户:account(account_id, owner, balance, version),account_id...
后端系统工程 14:会话存储与登录撤销
系列导航:上一篇 13 RPC 客户端的请求生命周期 | 本篇 14 | 下一篇 15 配置发布与客户端收敛 登录给出的是一份可撤回的授权。用户点击“退出”、管理员踢掉一台设备、用户修改口令后选择“退出所有设备”,这些操作都要在某个时刻之后让旧凭据失效。只有一个服务实例时,这件事只是删掉一条内存记录;有多个实例时,就要回答三个问题:哪一份记录说了算,撤销之后多久所有实例都会拒绝,以及一个与撤销同时到达的“续期”请求会不会把会话救回来。 本篇用 PostgreSQL 共享会话表和四个独立 JVM 进程的 HTTP 实例回答这三个问题,并与自包含签名令牌对照。代码在 examples/14-session-store/,输出在 evidence/14/output.txt。 需求契约 接口只有六个:/login、/whoami、/refresh、/logout、/logout-all、/admin/revoke-session。会话凭据放在 Cookie sid 中。会话在以下五个条件同时成立时才有效: 会话行存在,令牌哈希匹配; revoked_at 为空; 会话的 epoch ...
后端系统工程 15:配置发布与客户端收敛
系列导航:上一篇 14 会话存储与登录撤销 | 本篇 15 | 下一篇 16 服务发现中的旧地址 一次配置发布在数据库里只是一次事务提交,真正难的是提交之后的那段路:成百上千个客户端进程要在有限时间内拿到这份新配置,中途可能错过通知、收到迟到的旧响应、整段时间离线,或者在服务端不可达时启动。发布本身也会出错,一份取值越界的配置一旦被客户端接受,后果和一次错误的代码上线相同。 本篇实现一个最小配置中心:PostgreSQL 保存不可变版本和单调递增的发布记录,一个独立 JVM 提供快照与长轮询接口,客户端是独立的 Python 进程,带本地缓存和灰度命中。实验用真实组件制造五类故障:通知丢失、旧响应、客户端离线、服务器重启、缓存损坏,再加两个负向对照,分别是只靠通知的服务器和无条件接受响应的客户端。代码在 examples/15-config-center/,输出在 evidence/15/output.txt。 需求契约 操作只有四个:发布一份配置(可附灰度规则)、回退到某个旧版本、客户端读取当前快照、客户端等待下一次变化。系统承诺以下不变量: 版本内容写入后不再修改;每次发布...
后端系统工程 13:RPC 客户端的请求生命周期
系列导航:上一篇 12 有界连接池与等待取消 | 本篇 13 | 下一篇 14 会话存储与登录撤销 本地函数调用只有两种结局:返回,或者抛出异常。远程调用多了第三种:请求可能已经发出、也可能已经在对端执行,但结果没有回来。调用方在截止时间到达时只能如实说“不知道”。RPC 客户端的大部分复杂度都来自这第三种结局:同一条连接上,迟到的响应不能交给后来的请求;超时之后,客户端要判断能不能再发一次;服务端则不应该为一个已经被放弃的请求做事。 本篇实现一个最小 RPC,客户端是单连接多路复用,服务端是独立 JVM 进程并带故障注入,用 20 个用例检验四件事:字节流被正确切成帧;响应只交给发起它的那次尝试;截止时间同时约束客户端等待和服务端执行;只有允许的操作才会被自动重试。代码在 examples/13-rpc-client/,输出在 evidence/13/output.txt。 需求契约 调用方看到一个操作:call(method, idempotency, key, payload, timeout),返回状态之一:OK、APP_ERROR、INVALID_ARGUMENT、DE...










