深入压测(01)吞吐、尾延迟与排队
同样是「每秒处理 100 个请求」,可能指每秒到达 100 个,也可能是每秒返回 100 个,其中多数因为超时而被拒绝。将这两个含义画成一条曲线,容量到了边界反而最难读。
一份报告里的四个计数
RPS 通常指每秒请求数,QPS 原意是每秒查询数,日常监控有时也用来称接口请求率。TPS 可以指每秒业务事务或数据库事务,需要在图例中写清楚。一个迭代能发多次 HTTP 请求,一次数据库事务也能包含多条语句。速率应连同计数单位和边界写,例如「网关结算提交尝试 88 请求/秒」或「确认成功 80 订单/秒」。
| 计数 | 采集位置 | 计入什么 |
|---|---|---|
| 计划启动 | 发压调度器 | 应当启动的迭代,包含最终没有发出的那部分 |
| 实际到达 | 网关或服务入口 | 被测边界收到的尝试,包括重试 |
| 完成 | 响应端或业务状态机 | 已结束的处理,按成功、拒绝、失败和超时分类 |
| 有效完成 | 业务结果校验 | 在期限内得到正确结果的逻辑请求,也就是这里使用的 goodput |
一次运行能记录 1,000 次计划启动、940 次实际启动、910 次网关收到以及 880 次期限内成功。前三个数字之间的差值可能来自不同位置。压测机未按时调度的 60 次要记入目标负载缺口,实际启动与网关收到之间要检查连接、网络和入口拒绝。业务成功率的分母取实际提交的逻辑请求。若统计的都是一秒内的事件,差值还会包含跨秒完成的在途工作,需要按请求标识做关联,或在试验结束后留出观察窗。
快速拒绝改变了完成样本的构成。假设旧版本受理 100 次,耗时 80 毫秒。新版本受理 60 次,同样耗时 80 毫秒,其余 40 次在 5 毫秒就拒绝。平均响应从 80 降到了 50 毫秒,成功吞吐却下降了四成。容量试验应同时保留成功、拒绝和超时的计数与耗时,并按业务优先级分别看有效吞吐。Using load shedding to avoid overload
为什么 p99 上升时 CPU 可能平稳
客户端耗时可能包括连接建立、网络、服务排队和实际处理,并且取决于打点位置。一个被数据库连接池挡住的请求仍然在计时,等待线程本身未必明显增加 CPU 使用量。库存请求如果扇出到多个分片并等待最慢结果,单个分支的尾部也会被放大。
设每个分支超过 100 毫秒的概率为 1%。在各分支独立、概率相同且必须等齐 20 个结果的假设下,至少一个分支超过 100 毫秒的概率是 1 − 0.99²⁰,约为 18.2%。实际系统的 GC、共享网络和分片热点会改变联合分布,应看扇出宽度以及最慢分支的真实观测。Dean 与 Barroso,《The Tail at Scale》
p99 描述测量样本的分布。报告要同时保留样本数、时间窗、业务类型和超时归属。把所有接口混在一起时,大量低耗时的商品浏览可以掩盖数量很少的结算长尾。把失败从延迟分布里排除时,还需要提供「期限内正确完成数 / 实际提交数」,否则一个只剩少数成功样本的系统也可能画出平稳的成功 p99。
用在途量读队列
Little 定律写成 L = λW。在稳定、统计口径一致的观察边界内,平均在途量等于平均通过率乘以平均停留时间。W 用均值,λ 用和 L、W 对应的那类工作;若只测服务中的耗时,算出的 L 就不包括等待服务的队列。Little 原论文
假定一个稳定阶段有 80 笔订单/秒,受理到终态平均耗时 0.5 秒,订单处理链平均约有 40 笔在途。在另一个阶段,生产者连续 60 秒提交 80 条事件/秒,消费者只能完成 68 条/秒。如果没有丢失,积压净增约 720 条。此时可以直接做流量守恒,平均等待时间则会随着积压增长,稳态公式在这个窗口不适用。
停发后若消费者仍能稳定完成 68 条/秒,且无新输入和重试,720 条约需 10.6 秒处理完。若正常背景负载占去 50 条/秒,可用于排空的速率只有 18 条/秒,大约需要 40 秒。队列深度反映剩余工作量,最老消息的年龄则更接近用户等了多久。消息大小、处理成本和分区热点不均时,还要分分区验证。
找容量曲线的拐点
在阶梯实验中把实际到达速率画在横轴上,同时看及时正确完成量、尾延迟、拒绝率与队列斜率。常见现象是有效吞吐先随负载增长,随后变平,排队和超时却继续增长。启用限流后,拒绝率可以上升而核心业务的有效吞吐相对稳定。拐点附近重复跑,记录哪个等待点先发生变化,才能区分资源瓶颈、策略限额和发压不足。Google SRE 关于级联故障和过载的说明
| 现象 | 下一条证据 |
|---|---|
| 配置的速率还在涨,入口流量已经变平 | 比较发压端实际启动、连接错误和网关接收 |
| 入口还在涨,正确完成量平了 | 查队列、拒绝原因、后端饱和和错误分类 |
| 同步 p99 稳定,消息年龄持续增长 | 按订单批次追到终态,核对生产和消费速率 |
| 平均值下降,成功 p99 没动 | 分开看成功与快速拒绝的样本占比 |
有了各边界的分母,下一步是给各边界安排合理的输入。购物会话的到达率与订单接口的 RPS 之间,是转化率、重复调用和扇出共同形成的关系。
系列导航
| 上一篇 | 系列目录 | 下一篇 |
|---|---|---|
| 容量需要什么证据 | 深入压测 | 从业务漏斗推导负载 |
