Elasticsearch滚动查询出现search_phase_execution_exception错误求助

错误信息 #

elasticsearch.exceptions.NotFoundError: NotFoundError(404, 'search_phase_execution_exception', 'No search context found for id [605457312]')

你的查询代码 #

data = es.search(index = "xyz/xyz", body = match, scroll = '1m', request_timeout=30)

错误原因 #

• 滚动上下文超时：你设置的scroll='1m'表示搜索上下文仅保留1分钟。如果Airflow任务处理第一批数据的时间超过1分钟，后续用同一个scroll ID查询时，Elasticsearch已经回收了这个上下文，就会触发404错误。
• 任务调度波动：Airflow运行DAG时，可能因为集群资源紧张、任务排队等情况，导致两次scroll请求的间隔超过了设置的超时时间，进而出现该错误。
• 上下文维护不当：滚动过程中如果没有持续通过scroll请求刷新有效期，或者中途异常中断未清理上下文，都会导致上下文超时失效。

解决建议 #

• 延长scroll超时时间：根据单批数据的实际处理耗时，把scroll参数调整为更合适的值，比如'10m'。注意不要设置过长，避免占用过多ES集群资源。
• 优化数据处理逻辑：精简单批数据的处理步骤，避免在scroll间隔中执行耗时的IO、计算操作，确保在超时前发起下一次scroll请求。
• 保持scroll请求连续性：每次调用es.scroll()时必须使用最新的scroll ID，且每次scroll请求会自动重置上下文的超时时间，不要间隔太久再发起请求。
• 异常处理与资源清理：任务正常结束或异常中断时，调用es.clear_scroll()手动清理scroll上下文，避免资源泄漏；捕获NotFoundError，遇到时可尝试重新发起初始搜索（适合非实时场景）。
• 调整集群scroll配置：如果集群中有大量滚动查询需求，可修改ES的search.max_open_scroll_context参数，增加允许的并发scroll上下文数量，这是集群级配置，需评估资源消耗后调整。

内容的提问来源于stack exchange，提问作者hjun