AWS OpenSearch 2.3.0大数据集重索引超时延长方案求助

针对你在AWS OpenSearch 2.3.0版本中执行5GB数据集_reindex时遇到的30秒超时问题，以下是几个可行的解决方案：

1. 分片并行处理（Slice Reindex） #

使用slice参数将_reindex任务拆分为多个并行子任务，每个子任务处理数据集的一部分，避免单个任务超时。示例命令：

POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "source_index",
    "slice": {
      "id": 0,
      "max": 4
    }
  },
  "dest": {
    "index": "dest_index"
  }
}

• max值建议根据集群数据节点数调整（不超过节点数即可），这里设置为4代表拆分为4个并行任务。
• 加上wait_for_completion=false会让请求立即返回任务ID，后续可通过GET _tasks/{task_id}查询进度，规避长时间等待导致的客户端超时。

2. 客户端层面延长超时 #

由于服务端参数受限，可直接在发起请求的客户端调整超时阈值：

• curl命令：添加--max-time参数设置总超时，比如10分钟：

  curl -X POST 'https://your-opensearch-domain/_reindex' --max-time 600 -H 'Content-Type: application/json' -d '{...}'
  

• Python客户端：通过requests库设置timeout参数：

  import requests
  url = "https://your-opensearch-domain/_reindex"
  headers = {"Content-Type": "application/json"}
  data = {"source": {"index": "source_index"}, "dest": {"index": "dest_index"}}
  response = requests.post(url, json=data, headers=headers, timeout=600)
  

3. 调整搜索上下文超时 #

尝试动态设置集群的搜索上下文超时时间，_reindex内部依赖该参数控制scroll查询的生命周期：

PUT _cluster/settings
{
  "persistent": {
    "search.context.timeout": "10m"
  }
}

注意：AWS托管的OpenSearch部分参数可能受权限限制，若该设置被拒绝，可替换为transient（重启集群后失效）。

4. 分批增量处理 #

手动拆分_reindex任务，每次仅处理指定数量的文档，循环执行直至完成：

POST _reindex
{
  "source": {
    "index": "source_index",
    "size": 1000,
    "query": {
      "range": {
        "_id": {
          "gt": "last_processed_id"
        }
      }
    }
  },
  "dest": {
    "index": "dest_index"
  }
}

• 按_id或时间字段做范围查询，每次处理1000条（可按需调整size值），记录最后处理的ID，循环执行直至所有文档迁移完成。

内容的提问来源于stack exchange，提问作者Keerthi Hassan