深入 Elasticsearch(14):搜索延迟、写入吞吐与调优思路
上一篇解决了 segment 和索引的生命周期管理——merge 控制 segment 数量,ILM 管理索引的存储分层。这一篇进入 ES 的性能瓶颈在哪里、调优的思维框架是什么。
性能调优不是背参数表。参数是工具,瓶颈定位才是方法。ES 的性能受搜索延迟和写入吞吐两个维度的独立因素影响,先确定瓶颈在哪个维度的哪个因素上,再针对性调整。
本文只抓一个问题:ES 的性能模型——搜索延迟和写入吞吐分别受什么因素影响,用什么工具定位瓶颈。
搜索延迟的关键因素
1 | |
| 因素 | 影响机制 | 观察方式 |
|---|---|---|
| Segment 数量 | 每个 segment 独立搜索,结果合并 | _segments API |
| Query 复杂度 | 深层嵌套 bool、wildcard、regexp 代价高 | _search?profile=true |
| Shard 数量 | scatter-gather 开销随 shard 数线性增长 | _cat/shards |
| Filesystem cache | Lucene 文件在 OS page cache 中命中 vs 磁盘读取 | _nodes/stats → fs |
| Doc values vs fielddata | fielddata/global ordinals 与聚合状态占 heap;doc values 是磁盘列式结构,热页由 OS 缓存 | _nodes/stats → indices.fielddata |
五个因素之间存在因果链——上游因素恶化会放大下游的开销:
Filesystem cache 是搜索性能最关键的因素。Lucene 的 segment 文件(倒排索引、doc values、stored fields)通过 mmap 或 NIOFSDirectory 读取,OS 的 page cache 决定了这些文件是从内存还是磁盘读取。
写入吞吐的关键因素
1 | |
| 因素 | 影响机制 | 调整方式 |
|---|---|---|
| refresh_interval | 每次 refresh 生成新 segment,频率高则 segment 多 | 增大间隔(批量导入时设 -1) |
| Bulk size | 单条写入开销大,批量写入摊薄网络和事务开销 | 每批 5-15MB |
| Replica 数 | 每条写入同步到所有 in-sync replica | 批量导入时可临时设 replica=0 |
| Translog durability | request 模式每次 fsync,async 模式定期 fsync |
可接受丢失时用 async |
| Merge 压力 | 后台 merge 和写入竞争 I/O | 控制 merge 线程数和 throttle |
内存模型:Heap、Native 与 Filesystem Cache
Elasticsearch 和 Lucene 不应被理解成两个独立服务。Elasticsearch 是一个 JVM 进程,Lucene 是嵌入其中的搜索库。两者共享同一进程、同一份 JVM heap,也共同访问节点上的 Lucene 文件。讨论内存时需要区分的是内存层次,而不是把内存机械地分成“ES 一半、Lucene 一半”。
| 内存层次 | 主要内容 | 管理者 |
|---|---|---|
| JVM Heap | 查询对象、排序队列、聚合 buckets、query/request cache、indexing buffer、fielddata、global ordinals、shard/segment reader 元数据 | JVM GC |
| Native / Off-Heap | 线程栈、Metaspace、Code Cache、Direct Buffer、本地库内存、mmap 虚拟地址映射 | JVM 与操作系统 |
| Filesystem / Page Cache | Lucene segment 文件的热文件页,包括倒排索引、Doc Values、Stored Fields、Points 等 | 操作系统 |
Filesystem cache 是物理内存中的文件页缓存,但不等同于 Java 程序主动分配的 off-heap 内存。把它单独列出,才能看清容器内存的真实去向:JVM heap、JVM/native 开销和 OS page cache 都要计入容器限制。
Segment 在哪里
一个 Elasticsearch index 被拆成多个 shard;每个 shard 是一个自包含的 Lucene index;每个 Lucene index 又由多个不可变 segment 组成。Segment 本体是 path.data 下的一组持久化文件,不在 JVM heap 中。一个 segment 同时包含倒排索引、Doc Values、Stored Fields、Points、Norms、删除标记等结构。
搜索时,Lucene Reader 在 JVM heap 中维护对象和元数据,再通过文件 I/O 读取 segment。Elasticsearch 当前默认的 hybridfs 会对 term dictionary、norms 和 Doc Values 等文件使用 mmap,对其余文件使用 NIO。访问到的热文件页由操作系统保留在 filesystem cache 中;缓存未命中时才需要从存储设备载入。
Doc Values 不等于堆内存
不同操作读取 segment 中的不同结构:
| 操作 | 主要读取结构 | 典型 Heap 成本 |
|---|---|---|
match、term、bool 查询 |
倒排索引、Norms | Query/Scorer、Top-N 结果与布尔组合状态 |
| 数字、日期、地理范围查询 | Points / BKD-tree | 命中集合与结果归并状态 |
| 排序、聚合、脚本取值 | Doc Values | 排序队列、聚合 buckets、指标中间值,部分场景还会构建 global ordinals |
返回 _source |
Stored Fields | 命中文档的反序列化与响应对象 |
Doc Values 是索引阶段随 segment 生成的磁盘列式结构。它的热页通常由 OS page cache 缓存,并不会因为一次聚合就把整列数据复制进 JVM heap。聚合仍然可能消耗大量 heap,因为分桶、去重、排序和中间结果都是运行时 Java 对象;高基数字段还可能需要 global ordinals。
text 字段开启 fielddata: true 是另一条路径:Elasticsearch 根据倒排索引构建“文档到分析后词项”的视图,并把 fielddata 放进 JVM heap。业务需要按原始字符串排序或聚合时,通常应建立 keyword multi-field,使用它的 Doc Values,而不是给 text 打开 fielddata。
50% 是上限与起点,不是固定配比
Elastic 对手工设置 heap 的建议是:Xms 与 Xmx 设为相同值,并且不要超过节点可用内存的 50%。在容器中,“可用内存”指容器的内存限制,不是宿主机总内存。这条规则为 filesystem cache 和 native 开销留出空间,但不要求另一半只能或一定会被 Lucene 占满。
实际工作集偏搜索时,更小的 heap 可能换来更多 filesystem cache,从而降低查询延迟;聚合和写入缓冲较重时,则要结合 GC、breaker、fielddata、索引缓冲和请求并发观察。64GB 容器也不能直接推导出 32GB heap。
Compressed ordinary object pointers 的阈值取决于 JVM 和系统。Elastic 把 26GB 视为安全值,部分系统可接近 30GB,不应把“32GB”写成所有环境都成立的硬边界。可以从节点信息确认实际状态:
1 | |
模式提炼:文件保存数据,Heap 保存工作集
1 | |
这种设计把大规模索引数据交给文件系统管理,让 JVM heap 专注于有生命周期、需要 GC 的运行时工作集。调优目标不是让某一层尽量大,而是避免 heap 的 GC 压力、native 开销和 page cache 命中率彼此挤压。
Thread Pool 模型
ES 用线程池管理不同类型的操作:
| 线程池 | 用途 | 默认大小 |
|---|---|---|
search |
搜索请求 | CPU 核数 × 3/2 + 1 |
write |
索引/更新/删除/bulk | CPU 核数 |
get |
按 ID 取文档 | CPU 核数 |
management |
集群管理操作 | 5 |
refresh |
refresh 操作 | max(1, CPU/2) |
线程池满时,新请求进入队列。队列也满时,请求被拒绝(rejected)。被拒绝的请求是性能问题的明确信号。
实验:用 API 定位瓶颈
查看线程池状态:
1 | |
重点关注 rejected 列——非零值表示该线程池曾因过载拒绝请求。
查看节点资源使用:
1 | |
查看 filesystem cache 效果——比较 total_in_bytes 和 OS 可用内存:
1 | |
如果所有 index 的总大小远大于 OS 可用内存(总内存减去 JVM heap),filesystem cache 命中率会很低,搜索延迟升高。
用 _search?profile=true 定位慢查询中的热点:每个 Lucene segment 上各查询组件的耗时一目了然。
模式提炼:定位-度量-调整
1 | |
| 症状 | 可能的瓶颈 | 度量工具 | 调整方向 |
|---|---|---|---|
| 搜索延迟高 | segment 太多 | _segments |
force merge(仅对静态 index) |
| 搜索延迟高 | filesystem cache 不足 | _nodes/stats os.mem |
增加内存或减少数据量 |
| 搜索延迟高 | query 复杂 | profile: true |
简化查询、用 filter 替代 query |
| 写入吞吐低 | refresh 太频繁 | refresh_interval 配置 |
增大 refresh_interval |
| 写入吞吐低 | 单条写入 | 客户端代码 | 改用 bulk API |
| 写入被拒绝 | write 线程池满 | _cat/thread_pool rejected |
控制客户端并发 |
| 节点 OOM | fielddata/global ordinals、聚合状态或请求并发挤压 heap | JVM stats, fielddata stats, breaker stats | 优先压低高风险工作集,再评估 heap 上限 |
工程迁移表
| 调优维度 | Elasticsearch | MySQL | Kafka |
|---|---|---|---|
| 缓存层 | OS filesystem cache | InnoDB buffer pool | OS page cache |
| 内存规划 | heap 不超过可用内存 50%,其余供 native 与 filesystem cache | 80% buffer pool | 极少 heap,主要靠 page cache |
| 写入批量化 | Bulk API | batch insert | batch produce (linger.ms) |
| 延迟可见性 | refresh_interval | 事务提交 | linger.ms + acks |
| 后台维护 | merge, ILM | optimize, alter table | compaction, retention |
| 瓶颈定位 | profile, _nodes/stats | slow query log, EXPLAIN | broker metrics |
常见误解
误解一:性能调优就是调参数。 参数调优有用,但前提是先定位瓶颈。盲目调大 thread pool、调小 refresh interval 可能适得其反。定位瓶颈 → 度量影响 → 精确调整,这个顺序不能跳过。
误解二:JVM heap 越大越好。 Heap 占用过多会同时挤压 native 内存和 filesystem cache。Compressed ordinary object pointers 的实际阈值也依赖环境,通常需要把 heap 控制在约 26–30GB 内并通过节点信息确认,而不是套用固定的 32GB 分界。
误解三:shard 数越多搜索越快。 每个 shard 是一个独立的 Lucene index,有固定的内存和 CPU 开销。scatter-gather 的网络和合并开销也随 shard 数线性增长。单个 shard 建议 10-50GB。
练习
-
用
_cat/thread_pool?v&h=name,active,queue,rejected查看当前线程池状态。在高并发写入时再次查看,观察 queue 和 rejected 的变化。 -
用
_nodes/stats?filter_path=nodes.*.jvm.mem.heap_used_percent查看 JVM heap 使用率。如果持续超过 75%,需要关注 GC 压力。 -
对一个搜索请求加
profile: true,阅读返回的 profile 信息,找出最耗时的查询组件。
系列导航
| 上一篇 | 下一篇 |
|---|---|
| Segment Merge 与 Index Lifecycle Management | 安全体系:认证、授权与加密 |
