高可用Elasticsearch集群的最优配置及核心考量参数有哪些？

一、集群理想配置方案 #

节点数量规则 #

• 最小生产高可用集群：3个节点起步，支持单节点故障不影响集群可用性，中小负载场景（日写入量<1TB、查询QPS<1000）可以直接用3个混合角色节点，成本最低。
• 中大规模集群：建议做角色分离，固定3个专用主节点，数据节点、协调节点、预处理节点按需扩容，主节点数量必须为奇数，最多不要超过7个，避免选主开销过高。
• 跨可用区容灾集群：节点均匀分布在3个可用区，单可用区节点故障不影响集群服务。

节点角色拆分建议 #

• 主节点（master）：仅负责集群元数据管理、分片分配、集群选主，不承担读写流量，配置node.roles: [master]，稳定性优先，跨可用区部署。
• 数据节点（data）：负责数据存储、写入计算、查询计算，是集群核心算力节点，可按数据生命周期配置data_hot（热数据）、data_warm（温数据）、data_cold（冷数据）角色做分层存储。
• 预处理节点（ingest）：负责写入前的数据清洗、字段转换、管道执行，有大量数据预处理需求时单独拆分，配置node.roles: [ingest]，避免占用数据节点资源。
• 协调节点（coordinating）：负责接收用户请求、转发请求到对应数据节点、聚合查询结果返回，高查询QPS场景下单独拆分，配置node.roles: []（空角色默认即为协调节点）。

单节点硬件配置 #

• 主节点：4C8G起，100G SSD系统盘即可，无需额外数据盘。
• 热数据节点：16C64G是黄金标准配置，JVM堆内存固定设置为-Xms31g -Xmx31g，注意堆内存不要超过32G，否则会失去JVM指针压缩能力，性能下降40%以上，剩余内存留给操作系统做文件页缓存，能大幅提升查询性能。数据盘优先选择NVME SSD，单盘容量不超过8T，单节点承载的热数据总大小不要超过20T，避免节点故障时分片恢复时间过长。
• 温/冷数据节点：8C32G起，数据盘可以用SATA HDD，单盘容量不超过16T，适合存储访问频率低的历史数据。
• 协调节点/预处理节点：16C32G起，无需大容量数据盘。

二、集群设计核心考量参数 #

工作负载类型 #

• 写密集型：优先扩容数据节点数量，增加预处理节点算力，调大indices.memory.index_buffer_size参数，批量写入批次大小调整到5~15MB。
• 读密集型：优先扩容协调节点，给数据节点配置更大的内存，热点索引增加副本数，开启分片路由优化。
• 混合型：优先做角色分离，避免读写资源争抢，预留30%以上的资源冗余应对峰值。

流量指标 #

• 每秒写入请求量（WPS）：单热数据节点可支撑1000~3000WPS，按峰值写入量估算需要的数据节点数量，写入峰值超过5000WPS建议单独拆分预处理节点。
• 每秒搜索请求量（QPS）：单协调节点可支撑2000_{5000QPS，单数据节点可支撑1000}2000查询QPS，按峰值计算节点数量，注意预留冗余容量避免流量突增导致集群雪崩。

数据规模指标 #

按「日写入量 * 保留周期 * 1.5（副本+索引额外开销）」计算总存储容量，再按单节点存储上限计算需要的数据节点数量，建议配置索引生命周期管理（ILM）自动做冷热数据轮转和过期数据删除。

额外注意：单节点的分片总数控制在1000个以内，单GB JVM堆内存对应分片数不超过20个，单分片大小控制在20GB~50GB之间，不要超过100GB，否则会大幅提升查询延迟和故障恢复时间。

内容的提问来源于stack exchange，提问作者xRobot