Elasticsearch集群是否拆分？高负载大索引性能优化方案咨询

你的方案具备较强的可行性，核心优势如下：

• 无需拆分集群，避免了跨集群数据同步、多集群运维带来的额外成本
• 分片分配感知能力可将该高负载索引的分片固定到新增的3台机器上，与原有业务实现物理资源隔离，避免负载互相影响
• 3主分片+1副本的配置符合ES性能最优原则：215GB的索引拆分后单主分片大小约70GB，落在官方推荐的20~100GB的合理区间内；总共6个分片（3主3副）可以均匀分布在3台新增节点上，每个节点存储1主1副，资源分配均衡，聚合查询的并行度相比原来的单主分片提升3倍，能有效缓解高峰负载

同时该方案存在两个未覆盖的风险点：

• 现有集群的master节点为单点，一旦master故障会导致整个集群不可用，该隐患没有得到解决
• 若该索引后续容量、查询负载持续上涨，仍然会和原集群的master、元数据管理逻辑耦合，扩容的灵活度低于独立集群

根据业务后续的增长预期可分为两种选择：

若该索引后续容量、负载有明确的持续增长规划 #

优先采用研发团队提出的独立集群方案：

• 单独搭建3节点小集群，节点同时兼任master和data角色，避免master单点问题
• 过渡阶段采用双写或者_reindex接口同步数据，切流完成后删除原集群的大索引，彻底实现负载隔离，完全不会影响原有业务的稳定性

若该索引负载增长预期较低，希望控制运维成本 #

在你的现有方案基础上补充两个优化点即可：

• 先给现有集群新增2个master eligible节点，将master架构从单点调整为3节点高可用架构，消除集群整体故障风险
• 给新增的3台数据节点配置自定义业务标签，示例配置如下：
  1. 节点elasticsearch.yml新增配置：node.attr.business: notification，重启节点生效
  2. 给目标索引配置分片分配规则，强制分片只分配到指定标签的节点：

  PUT /<你的索引名>/_settings
  {
    "index.routing.allocation.require.business": "notification"
  }
  

• 分片拆分优先使用ES自带的_split接口，无需全量重导数据，拆分前先将索引设为只读，拆分完成后再放开写权限即可，操作成本极低

内容的提问来源于stack exchange，提问作者noze_potato