ElasticSearch大索引重索引任务频繁失败，节点不可用求助

我有34个索引，单个索引约含1.8亿文档，目前用Elasticsearch的/_reindex API配合_ingest/pipeline做数据转换。但这个任务80%的概率会失败，报错信息如下：

"error" : {
"type" : "search_phase_execution_exception",
"reason" : "all shards failed",
"phase" : "query",
"grouped" : true,
"failed_shards" : [
  {
    "shard" : -1,
    "index" : null,
    "reason" : {
      "type" : "illegal_state_exception",
      "reason" : "node [d6UWyUAKSwq53szZy2VlNQ] is not available"
    }
  }
]

失败通常发生在处理1.2-1.4亿文档时，Grafana监控显示CPU、内存负载都正常，现在需要能避免重复执行、节省时间的解决方案。当前执行的任务示例：

POST /_reindex?wait_for_completion=false&slices=auto
{
  "source": {
    "index": "index_tmp"
  },
  "dest": {
    "index": "index_resulting",
    "pipeline": "remove_unused_fields"
  }
}

1. 实现断点续传 #

利用_reindex的search_after特性，记录失败时的进度，避免重复处理已完成的文档：

• 确认源索引有全局唯一且可排序的字段（比如_id或自定义自增ID）
• 执行任务时指定排序规则和search_after参数，值为上次失败时最后处理的文档对应字段值：

POST /_reindex?wait_for_completion=false&slices=auto
{
  "source": {
    "index": "index_tmp",
    "sort": [{"_id": "asc"}],
    "search_after": ["LAST_PROCESSED_DOC_ID"]
  },
  "dest": {
    "index": "index_resulting",
    "pipeline": "remove_unused_fields"
  }
}

• 可以通过定时统计目标索引文档数，或调用_tasks API查询任务状态，实时记录search_after的最新值。

2. 拆分大任务 #

将单索引1.8亿文档的全量任务拆分为多个小任务，降低单次执行的压力：

• 按时间范围拆分：如果源索引带时间字段，按天/小时分批处理：

POST /_reindex?wait_for_completion=false&slices=auto
{
  "source": {
    "index": "index_tmp",
    "query": {
      "range": {
        "@timestamp": {
          "gte": "2024-01-01T00:00:00",
          "lte": "2024-01-02T00:00:00"
        }
      }
    }
  },
  "dest": {
    "index": "index_resulting",
    "pipeline": "remove_unused_fields"
  }
}

• 按分片拆分：手动设置slices为源索引的分片数（替代auto），让每个slice对应一个源分片，避免自动分片带来的节点负载波动。

3. 排查节点不可用根源 #

报错指向节点[d6UWyUAKSwq53szZy2VlNQ]不可用，即使监控显示CPU、内存正常，也要排查：

• 查看该节点的Elasticsearch日志，检查是否有磁盘IO突增、网络中断、OOM Killer触发等细节（监控可能未覆盖这些维度）
• 调整节点JVM堆内存：确保堆内存不超过物理内存的50%且不大于32G，避免内存溢出或GC停顿
• 测试节点间网络连通性，排查是否存在临时网络波动导致节点脱离集群

4. 优化_reindex参数 #

• 调小size参数：默认单次scroll的size是1000，可改为500，降低单次请求的资源消耗
• 关闭目标索引自动刷新：执行任务前设置PUT /index_resulting/_settings {"index.refresh_interval": "-1"}，完成后再恢复默认值，减少刷新开销
• 添加op_type: create：如果目标索引无重复文档，在dest配置中加入"op_type": "create"，跳过更新检查，提升处理效率

内容的提问来源于stack exchange，提问作者Mr.Xyzed