Elasticsearch 7.17.0重索引搜索上下文过期问题及清理方案咨询

1. 手动清理搜索上下文方案可行性 #

设置scroll=2d并在重索引完成后手动清理搜索上下文是完全可行的，不会引发额外错误：

• 重索引任务完成后，对应slice的搜索上下文会进入待过期状态，手动提前清理能立即释放内存资源，避免闲置消耗性能
• 操作注意事项：
  1. 先通过以下命令查看所有活跃的搜索上下文，筛选出目标重索引任务对应的scroll_id：

     curl -u $CREDENTIALS "$PROTOCOL://$HOST:9200/_search/scroll/_all"
     

  2. 执行清理时确保使用正确的scroll_id，避免误删其他活跃任务的上下文：

     curl -u $CREDENTIALS -X DELETE "$PROTOCOL://$HOST:9200/_search/scroll" -H "Content-Type: application/json" -d '{
       "scroll_id" : "你的目标scroll_id"
     }'
     

2. slice参数：优先使用auto而非手动指定数值 #

强烈建议将slices=50改为slices=auto：

• Elasticsearch会根据源索引的分片数自动计算最优并行slice数量（通常等于源分片数或其整数倍），手动设置过大的数值会导致每个slice处理数据量过小，增加协调节点调度开销，反而更容易触发搜索上下文过期
• 7.17版本的auto模式已足够成熟，能平衡并行度与资源消耗，减少异常概率

3. 其他优化思路 #

• 调大source.size参数：当前设置size=5过小，会导致scroll请求次数暴增，加剧上下文过期风险，建议调整为1000-5000（根据单文档大小调整，保持单次请求数据量在几MB级别）
• 移除不必要的refresh参数：原命令中的refresh会导致目标索引频繁刷新，增加IO压力，建议去掉该参数，重索引完成后再手动执行一次POST $new_index/_refresh
• 监控任务进度：通过以下命令实时追踪重索引任务状态，一旦显示completed立即执行清理：

  curl -u $CREDENTIALS "$PROTOCOL://$HOST:9200/_tasks?detailed=true&actions=*reindex"
  

• 分批次重索引超大型索引：对于数据量极大的索引，可按时间范围或其他字段拆分源数据，分多次执行重索引，降低单任务的资源占用和执行时长

内容的提问来源于stack exchange，提问作者Achyut Muley