上一篇解决了 segment 和索引的生命周期管理——merge 控制 segment 数量,ILM 管理索引的存储分层。这一篇进入 ES 的性能瓶颈在哪里、调优的思维框架是什么。

性能调优不是背参数表。参数是工具,瓶颈定位才是方法。ES 的性能受搜索延迟和写入吞吐两个维度的独立因素影响,先确定瓶颈在哪个维度的哪个因素上,再针对性调整。

本文只抓一个问题:ES 的性能模型——搜索延迟和写入吞吐分别受什么因素影响,用什么工具定位瓶颈。

搜索延迟的关键因素

1
搜索延迟 = f(segment数, query复杂度, shard数, cache命中率, 数据结构选择)
因素 影响机制 观察方式
Segment 数量 每个 segment 独立搜索,结果合并 _segments API
Query 复杂度 深层嵌套 bool、wildcard、regexp 代价高 _search?profile=true
Shard 数量 scatter-gather 开销随 shard 数线性增长 _cat/shards
Filesystem cache Lucene 文件在 OS page cache 中命中 vs 磁盘读取 _nodes/stats → fs
Doc values vs fielddata fielddata/global ordinals 与聚合状态占 heap;doc values 是磁盘列式结构,热页由 OS 缓存 _nodes/stats → indices.fielddata

五个因素之间存在因果链——上游因素恶化会放大下游的开销:

Filesystem cache 是搜索性能最关键的因素。Lucene 的 segment 文件(倒排索引、doc values、stored fields)通过 mmap 或 NIOFSDirectory 读取,OS 的 page cache 决定了这些文件是从内存还是磁盘读取。

写入吞吐的关键因素

1
写入吞吐 = f(refresh频率, bulk大小, replica数, translog持久化, merge压力)
因素 影响机制 调整方式
refresh_interval 每次 refresh 生成新 segment,频率高则 segment 多 增大间隔(批量导入时设 -1)
Bulk size 单条写入开销大,批量写入摊薄网络和事务开销 每批 5-15MB
Replica 数 每条写入同步到所有 in-sync replica 批量导入时可临时设 replica=0
Translog durability request 模式每次 fsync,async 模式定期 fsync 可接受丢失时用 async
Merge 压力 后台 merge 和写入竞争 I/O 控制 merge 线程数和 throttle

内存模型:Heap、Native 与 Filesystem Cache

Elasticsearch 和 Lucene 不应被理解成两个独立服务。Elasticsearch 是一个 JVM 进程,Lucene 是嵌入其中的搜索库。两者共享同一进程、同一份 JVM heap,也共同访问节点上的 Lucene 文件。讨论内存时需要区分的是内存层次,而不是把内存机械地分成“ES 一半、Lucene 一半”。

内存层次 主要内容 管理者
JVM Heap 查询对象、排序队列、聚合 buckets、query/request cache、indexing buffer、fielddata、global ordinals、shard/segment reader 元数据 JVM GC
Native / Off-Heap 线程栈、Metaspace、Code Cache、Direct Buffer、本地库内存、mmap 虚拟地址映射 JVM 与操作系统
Filesystem / Page Cache Lucene segment 文件的热文件页,包括倒排索引、Doc Values、Stored Fields、Points 等 操作系统

Filesystem cache 是物理内存中的文件页缓存,但不等同于 Java 程序主动分配的 off-heap 内存。把它单独列出,才能看清容器内存的真实去向:JVM heap、JVM/native 开销和 OS page cache 都要计入容器限制。

Segment 在哪里

一个 Elasticsearch index 被拆成多个 shard;每个 shard 是一个自包含的 Lucene index;每个 Lucene index 又由多个不可变 segment 组成。Segment 本体是 path.data 下的一组持久化文件,不在 JVM heap 中。一个 segment 同时包含倒排索引、Doc Values、Stored Fields、Points、Norms、删除标记等结构。

搜索时,Lucene Reader 在 JVM heap 中维护对象和元数据,再通过文件 I/O 读取 segment。Elasticsearch 当前默认的 hybridfs 会对 term dictionary、norms 和 Doc Values 等文件使用 mmap,对其余文件使用 NIO。访问到的热文件页由操作系统保留在 filesystem cache 中;缓存未命中时才需要从存储设备载入。

Doc Values 不等于堆内存

不同操作读取 segment 中的不同结构:

操作 主要读取结构 典型 Heap 成本
match、term、bool 查询 倒排索引、Norms Query/Scorer、Top-N 结果与布尔组合状态
数字、日期、地理范围查询 Points / BKD-tree 命中集合与结果归并状态
排序、聚合、脚本取值 Doc Values 排序队列、聚合 buckets、指标中间值,部分场景还会构建 global ordinals
返回 _source Stored Fields 命中文档的反序列化与响应对象

Doc Values 是索引阶段随 segment 生成的磁盘列式结构。它的热页通常由 OS page cache 缓存,并不会因为一次聚合就把整列数据复制进 JVM heap。聚合仍然可能消耗大量 heap,因为分桶、去重、排序和中间结果都是运行时 Java 对象;高基数字段还可能需要 global ordinals。

text 字段开启 fielddata: true 是另一条路径:Elasticsearch 根据倒排索引构建“文档到分析后词项”的视图,并把 fielddata 放进 JVM heap。业务需要按原始字符串排序或聚合时,通常应建立 keyword multi-field,使用它的 Doc Values,而不是给 text 打开 fielddata。

50% 是上限与起点,不是固定配比

Elastic 对手工设置 heap 的建议是:Xms 与 Xmx 设为相同值,并且不要超过节点可用内存的 50%。在容器中,“可用内存”指容器的内存限制,不是宿主机总内存。这条规则为 filesystem cache 和 native 开销留出空间,但不要求另一半只能或一定会被 Lucene 占满。

实际工作集偏搜索时,更小的 heap 可能换来更多 filesystem cache,从而降低查询延迟;聚合和写入缓冲较重时,则要结合 GC、breaker、fielddata、索引缓冲和请求并发观察。64GB 容器也不能直接推导出 32GB heap。

Compressed ordinary object pointers 的阈值取决于 JVM 和系统。Elastic 把 26GB 视为安全值,部分系统可接近 30GB,不应把“32GB”写成所有环境都成立的硬边界。可以从节点信息确认实际状态:

1
GET _nodes/_all/jvm?filter_path=nodes.*.jvm.using_compressed_ordinary_object_pointers

模式提炼:文件保存数据,Heap 保存工作集

1
2
3
4
5
不可变 segment 文件
↓ mmap / NIO
OS page cache 保存热文件页
↓ Lucene Reader
JVM heap 保存有界的查询、聚合、缓存与元数据对象

这种设计把大规模索引数据交给文件系统管理,让 JVM heap 专注于有生命周期、需要 GC 的运行时工作集。调优目标不是让某一层尽量大,而是避免 heap 的 GC 压力、native 开销和 page cache 命中率彼此挤压。

Thread Pool 模型

ES 用线程池管理不同类型的操作:

线程池 用途 默认大小
search 搜索请求 CPU 核数 × 3/2 + 1
write 索引/更新/删除/bulk CPU 核数
get 按 ID 取文档 CPU 核数
management 集群管理操作 5
refresh refresh 操作 max(1, CPU/2)

线程池满时,新请求进入队列。队列也满时,请求被拒绝(rejected)。被拒绝的请求是性能问题的明确信号。

实验:用 API 定位瓶颈

查看线程池状态:

1
GET _cat/thread_pool?v&h=name,active,queue,rejected,completed

重点关注 rejected 列——非零值表示该线程池曾因过载拒绝请求。

查看节点资源使用:

1
GET _nodes/stats?filter_path=nodes.*.jvm.mem,nodes.*.os.mem,nodes.*.indices.fielddata

查看 filesystem cache 效果——比较 total_in_bytes 和 OS 可用内存:

1
GET _cat/indices?v&h=index,store.size

如果所有 index 的总大小远大于 OS 可用内存(总内存减去 JVM heap),filesystem cache 命中率会很低,搜索延迟升高。

用 _search?profile=true 定位慢查询中的热点:每个 Lucene segment 上各查询组件的耗时一目了然。

模式提炼:定位-度量-调整

1
2
3
1. 定位:搜索慢还是写入慢?
2. 度量:用 _nodes/stats、_cat/thread_pool、profile 找到具体因素
3. 调整:只调整瓶颈因素,不做无差别参数调优
症状 可能的瓶颈 度量工具 调整方向
搜索延迟高 segment 太多 _segments force merge(仅对静态 index)
搜索延迟高 filesystem cache 不足 _nodes/stats os.mem 增加内存或减少数据量
搜索延迟高 query 复杂 profile: true 简化查询、用 filter 替代 query
写入吞吐低 refresh 太频繁 refresh_interval 配置 增大 refresh_interval
写入吞吐低 单条写入 客户端代码 改用 bulk API
写入被拒绝 write 线程池满 _cat/thread_pool rejected 控制客户端并发
节点 OOM fielddata/global ordinals、聚合状态或请求并发挤压 heap JVM stats, fielddata stats, breaker stats 优先压低高风险工作集,再评估 heap 上限

工程迁移表

调优维度 Elasticsearch MySQL Kafka
缓存层 OS filesystem cache InnoDB buffer pool OS page cache
内存规划 heap 不超过可用内存 50%,其余供 native 与 filesystem cache 80% buffer pool 极少 heap,主要靠 page cache
写入批量化 Bulk API batch insert batch produce (linger.ms)
延迟可见性 refresh_interval 事务提交 linger.ms + acks
后台维护 merge, ILM optimize, alter table compaction, retention
瓶颈定位 profile, _nodes/stats slow query log, EXPLAIN broker metrics

常见误解

误解一:性能调优就是调参数。 参数调优有用,但前提是先定位瓶颈。盲目调大 thread pool、调小 refresh interval 可能适得其反。定位瓶颈 → 度量影响 → 精确调整,这个顺序不能跳过。

误解二:JVM heap 越大越好。 Heap 占用过多会同时挤压 native 内存和 filesystem cache。Compressed ordinary object pointers 的实际阈值也依赖环境,通常需要把 heap 控制在约 26–30GB 内并通过节点信息确认,而不是套用固定的 32GB 分界。

误解三:shard 数越多搜索越快。 每个 shard 是一个独立的 Lucene index,有固定的内存和 CPU 开销。scatter-gather 的网络和合并开销也随 shard 数线性增长。单个 shard 建议 10-50GB。

练习

  1. 用 _cat/thread_pool?v&h=name,active,queue,rejected 查看当前线程池状态。在高并发写入时再次查看,观察 queue 和 rejected 的变化。

  2. 用 _nodes/stats?filter_path=nodes.*.jvm.mem.heap_used_percent 查看 JVM heap 使用率。如果持续超过 75%,需要关注 GC 压力。

  3. 对一个搜索请求加 profile: true,阅读返回的 profile 信息,找出最耗时的查询组件。

系列导航

上一篇 下一篇
Segment Merge 与 Index Lifecycle Management 安全体系:认证、授权与加密

参考资料