Elasticsearch 40GB索引分片数设置：兼顾写入与搜索性能

写入并行与分片的作用 #

• 数据并非只能写入单个索引：你可以同时向多个索引写入（比如滚动索引的新旧索引交替阶段），但单条文档只会被路由到目标索引的一个分片中存储。
• 分片是实现写入并行的核心：每个分片都是独立的Lucene索引，ES会将写入请求分散到多个分片并行处理，分片数越多（在节点资源充足的前提下），能同时处理的写入请求量就越大。你从2分片提升到4分片后写入速率的提升，正是这个机制的体现。

40GB滚动索引的分片数建议 #

结合你的集群配置（2节点，单节点96核CPU、755GB内存）和40GB的索引大小，推荐设置4-6个分片，理由如下：

1. 符合分片大小最佳实践：ES官方建议热数据分片大小控制在20-50GB，你的40GB索引拆分为4个分片时，单分片约10GB；拆分为6个分片时，单分片约6.7GB，都远低于50GB的上限，既能保证写入的并行度，又不会因分片过小导致元数据开销过高。
2. 匹配节点资源：2个节点可以均匀分配分片（4分片时每个节点2个，6分片时每个节点3个），能充分利用节点的多核CPU和大内存资源，不会出现单节点分片过载的情况。
3. 平衡搜索性能：4-6个分片的数量不会给搜索带来明显的额外开销——搜索时需要协调的分片数量适中，聚合结果的合并成本可控，不会过度影响搜索性能。

如果你的搜索压力极低，最多可以尝试8个分片，但不建议超过这个数，否则搜索时的分片协调和结果合并成本会显著上升。

解决Filebeat丢包的额外优化点 #

分片数调整只是优化的一部分，丢包可能还有其他瓶颈，建议排查以下方向：

• Filebeat端优化：
  • 调高bulk_max_size（从默认5000调整到10000-20000，根据ES处理能力微调），增大单批量请求的数据量；
  • 增加worker数量（设置为4-8），利用Filebeat的并行推送能力；
  • 开启compression_level: 5，减少网络传输的数据量，降低延迟。
• ES端配置优化：
  • 检查write线程池配置：默认fixed类型，大小为CPU核数/2（你的节点为48），可适当调高到64-80（不超过CPU核数），提升并行处理写入请求的能力；
  • 确保indices.memory.index_buffer_size设置合理（默认是堆内存的10%），你的节点堆内存建议设置为31GB（ES堆内存不超过32GB避免指针压缩失效），索引缓冲区约3GB，足够支撑大写入量。
• 硬件瓶颈排查：确认服务器磁盘是否为SSD，若为机械磁盘，IO瓶颈会严重限制写入速率；同时监控节点的CPU、内存、磁盘IO利用率，定位是否有资源过载的情况。

内容的提问来源于stack exchange，提问作者Rayne