Elasticsearch Python客户端连接池耗尽及超时问题求助

问题背景 #

使用Elasticsearch Python模块建立连接：

es = Elasticsearch([config.endpoint],
                    api_key=config.key,
                    request_timeout=config.request_timeout )

连接成功后执行Enrich策略：

es.enrich.execute_policy(name=policy)

但所有策略执行均失败，报错：

{'policy': 'enrich-1', 'status': 'failed', 'error': "Connection error caused by: ConnectionError(Connection error caused by: FullPoolError(HTTPConnectionPool(host='our.server.internal', port=9200): Pool reached maximum size and no more connections are allowed.))"}

移除request_timeout参数时任务尝试运行但超时，添加该参数则出现连接池耗尽错误，设置connections_per_node=50也无效。

问题分析与解决方案 #

1. 核心原因：Enrich策略的异步执行+默认轮询占用连接 #

Enrich策略本身是ES后台异步执行的任务，但Python客户端的execute_policy方法默认会持续轮询任务状态，直到任务完成或失败。如果策略执行时间较长（比如处理大索引关联），轮询请求会一直占用连接池中的连接，同时策略后台运行也会消耗ES节点的连接资源，最终导致连接池耗尽。

2. 正确配置连接池参数 #

你设置connections_per_node=50无效，是因为参数配置位置错误。需要通过connections字典传入连接池配置，而非顶级参数：

from elasticsearch import Elasticsearch, RequestsHttpConnection

es = Elasticsearch(
    [config.endpoint],
    api_key=config.key,
    request_timeout=30,  # 设置合理的单次请求超时，比如30秒
    connection_class=RequestsHttpConnection,
    connections={
        "default": {
            "maxsize": 50,  # 每个节点允许的最大并发连接数
            "pool_connections": 10,  # 连接池初始创建的连接数
        }
    }
)

注意：maxsize不要设置过大，避免给ES集群造成过载压力。

3. 避免轮询占用连接：异步触发+主动查询状态 #

修改execute_policy调用方式，不等待任务完成，而是后续主动间隔查询状态，减少连接占用：

# 触发策略执行，立即返回，不等待完成
response = es.enrich.execute_policy(name=policy, wait_for_completion=False)
task_id = response['task']

# 间隔轮询任务状态，避免持续占用连接
import time
while True:
    task_status = es.tasks.get(task_id=task_id)
    if task_status['completed']:
        print(f"策略执行结果: {'成功' if 'error' not in task_status else f'失败，错误：{task_status["error"]}'}")
        break
    time.sleep(15)  # 延长轮询间隔，比如15秒一次

4. 合理设置request_timeout参数 #

request_timeout是单次HTTP请求的超时时间，不是任务总执行时间。如果设置过小，轮询请求会提前超时；设置过大，连接会被长时间占用。建议设置为30-60秒，同时配合wait_for_completion=False使用。

5. 检查ES集群侧的连接限制 #

ES集群本身有http.max_open_connections（节点允许的最大HTTP连接数）等配置，需要确认集群侧的连接资源是否充足。可以通过GET _nodes/stats/http查看节点的连接使用情况，必要时调整集群配置。

内容的提问来源于stack exchange，提问作者Dave