删除索引后OpenSearch集群无法分配，状态异常如何排查修复？

问题现象 #

删除索引后，集群所有索引均处于red状态，分片分配卡住并在两种状态间反复切换。

前置背景 #

对索引x（280GB，1000万文档，1个分片）执行split操作，预期生成含8个分片的索引y。完成split后无法执行delete-by-query操作，且索引y的大小在一天内于700GB至1.3TB间异常波动，因此删除该索引，随后整个集群陷入red状态。

集群配置 #

• 通过Helm+Kubernetes在AWS部署
• 3个data节点，3个master节点
• 每个data节点挂载1200GB磁盘
• data节点内存32GB，master节点内存8GB

问题成因 #

1. Split操作引发分片不稳定：原索引x仅1个分片，split为8个分片时，每个分片需复制原索引部分数据，过程中可能出现元数据不一致、段合并异常。索引y大小波动说明分片在反复同步或合并，集群已处于不稳定状态。
2. 删除大索引触发集群资源过载：删除1.3TB规模的异常索引时，集群需同时处理分片卸载、元数据清理、磁盘回收等操作，导致data节点磁盘IO瞬间打满，master节点无法及时同步集群状态，引发分片分配逻辑混乱。
3. 分片分配机制异常重试：删除索引后，集群尝试重新平衡分片，但因节点资源不足、元数据残留，分配任务反复失败重试，最终导致全集群索引进入red状态。

修复步骤 #

紧急恢复集群可用性 #

1. 暂停分片自动分配：避免集群持续尝试分配分片加剧资源消耗：

   curl -XPUT 'http://<集群地址>/_cluster/settings' -H 'Content-Type: application/json' -d '{
     "persistent": {
       "cluster.routing.allocation.enable": "none"
     }
   }'
   

2. 清理无效分片元数据：排查并删除残留的未分配分片记录：

   # 查看未分配分片详情
   curl 'http://<集群地址>/_cat/shards?v' | grep UNASSIGNED
   # 删除无效分片分配（替换占位符为实际信息）
   curl -XDELETE 'http://<集群地址>/_cluster/reroute' -H 'Content-Type: application/json' -d '{
     "commands": [
       {
         "remove": {
           "index": "<异常索引名>",
           "shard": <分片编号>,
           "node": "<节点名称>"
         }
       }
     ]
   }'
   

3. 恢复分片自动分配：待节点CPU、IO、内存恢复正常后，重新开启分配：

   curl -XPUT 'http://<集群地址>/_cluster/settings' -H 'Content-Type: application/json' -d '{
     "persistent": {
       "cluster.routing.allocation.enable": "all"
     }
   }'
   

根治问题的优化措施 #

1. 节点资源排查与扩容：

   # 查看节点资源状态
   curl 'http://<集群地址>/_cat/nodes?v'
   # 查看磁盘分配情况
   curl 'http://<集群地址>/_cat/allocation?v'
   

   • 若磁盘使用率超85%，清理历史索引或扩容EBS磁盘；
   • data节点堆内存调整为16GB（避免超过物理内存一半，引发GC卡顿）。
2. 规范Split操作流程：
   • Split前将原索引设为只读：PUT /<原索引名>/_settings {"index.blocks.write": true}；
   • 避免一次性split过多分片，根据集群资源调整分片数量；
   • Split完成后等待分片初始化、段合并结束，再执行数据操作。
3. 配置集群保护机制：
   • 设置磁盘水位线，防止磁盘耗尽：

     curl -XPUT 'http://<集群地址>/_cluster/settings' -H 'Content-Type: application/json' -d '{
       "persistent": {
         "cluster.routing.allocation.disk.watermark.low": "80%",
         "cluster.routing.allocation.disk.watermark.high": "85%",
         "cluster.routing.allocation.disk.watermark.flood_stage": "90%"
       }
     }'
     

   • 限制节点并发恢复数，降低IO压力：

     curl -XPUT 'http://<集群地址>/_cluster/settings' -H 'Content-Type: application/json' -d '{
       "persistent": {
         "cluster.routing.allocation.node_concurrent_recoveries": 2
       }
     }'
     

内容的提问来源于stack exchange，提问作者Danyil Poprotskyi