Elasticsearch分片重定位卡住,如何强制取消正在进行的分配任务?
Elasticsearch分片重定位卡住强制取消方案
结论
可以强制取消当前卡住的分片分配任务,操作前请先确认原节点10.0.240.235仍处于正常运行状态,避免数据丢失。
具体操作步骤
- 第一步:执行命令取消指定分片的重定位任务
curl -u elastig:themoststrongpasswordever -XPOST 10.0.10.10:9200/_cluster/reroute -H 'Content-Type: application/json' -d '{ "commands": [ { "cancel": { "index": "prod-tajikistan-2021.06.17", "shard": 0, "node": "PUoA_SbUQm2KYeJTzucxxg", "allow_primary": true } } ] }'
- 第二步:验证分片状态,执行以下命令确认分片已回到
STARTED状态
curl -u elastig:themoststrongpasswordever -XGET 10.0.10.10:9200/_cat/shards/prod-tajikistan-2021.06.17?v
- 第三步:如果不需要继续下线
10.0.240.235节点,清理之前的剔除规则:
curl -u elastig:themoststrongpasswordever -XPUT 10.0.10.10:9200/_cluster/settings -H 'Content-Type: application/json' -d '{ "transient" :{ "cluster.routing.allocation.exclude._ip" : null } }'
注意事项
- 你当前卡住的是626.6GB的超大主分片,重定位耗时久属于常见情况,取消前建议先排查是否是集群重定位带宽限制、节点IO/CPU负载过高、网络抖动导致的卡住,避免后续重试仍出现同样问题。
- 如果后续仍需要下线
10.0.240.235节点,建议先调整集群恢复参数,适当放宽重定位资源限制后再重新触发分配:- 调整单节点恢复并发数:
cluster.routing.allocation.node_concurrent_recoveries(默认2,可根据节点资源调整到5-10) - 调整恢复带宽限制:
indices.recovery.max_bytes_per_sec(默认值较低,可根据集群网络带宽调整为100mb/s或更高)
- 调整单节点恢复并发数:
- 强制取消操作只会中断正在进行的重定位流程,原节点上的分片数据不会被删除,只要原节点正常在线,业务访问不会受影响。
- 如果原节点
10.0.240.235已经离线且无法恢复,强制取消后分片会处于未分配状态,此时如果没有可用的副本分片,需要手动分配空主分片,该操作会丢失对应分片的全部数据,请谨慎操作。
内容的提问来源于stack exchange,提问作者noze_potato
相关产品推荐
相关产品推荐

