循环调用同一Elasticsearch实例触发Node MaxListenersExceededWarning问题

问题背景 #

基于Express.js开发应用，使用@elastic/elasticsearch v8.8.1库，创建CacheService类并将Elasticsearch Client实例定义为类变量，实现getCachedData方法查询缓存数据：

async getCachedData(key) {            
  const body  = await this.client.search({
    index: this.index,
    body: {
      query: {
        match: { _id: key }
      }
    }
  });

  const hits = body.hits.hits;
  if (hits.length > 0) {
    const cacheData =  hits[0]._source.data;
    const timestamp = hits[0]._source.timestamp;
    return { data: cacheData, timestamp: timestamp };
  }
}

当在for循环中调用该方法超过11次时，触发以下警告：

MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 abort listeners added to [EventEmitter]. Use emitter.setMaxListeners() to increase limit
    at _addListener (node:events:444:17)
    at EventEmitter.addListener (node:events:460:10)
    at addSignal (/usr/src/app/node_modules/undici/lib/api/abort-signal.js:35:19)
    at new RequestHandler (/usr/src/app/node_modules/undici/lib/api/api-request.js:68:5)
    at Pool.request (/usr/src/app/node_modules/undici/lib/api/api-request.js:170:25)
    at /usr/src/app/node_modules/undici/lib/api/api-request.js:163:15
    at new Promise (<anonymous>)
    at Pool.request (/usr/src/app/node_modules/undici/lib/api/api-request.js:162:12)
    at Connection.request (/usr/src/app/node_modules/@elastic/transport/lib/connection/UndiciConnection.js:143:41)
    at SniffingTransport.request (/usr/src/app/node_modules/@elastic/transport/lib/Transport.js:412:75)
    at Client.SearchApi [as search] (/usr/src/app/node_modules/@elastic/elasticsearch/lib/api/api/search.js:66:33)

临时解决方案是在方法内创建本地Client实例，请求后调用client.close()消除警告，但担心频繁创建/关闭客户端带来性能开销：

async getCachedData(key) {
  let client = new Client({ node: 'url here' });       
  const body  = await client.search({
    index: this.index,
    body: {
      query: {
        match: { _id: key }
      }
    }
  });

  client.close();

  const hits = body.hits.hits;
  if (hits.length > 0) {
    const cacheData =  hits[0]._source.data;
    const timestamp = hits[0]._source.timestamp;
    return { data: cacheData, timestamp: timestamp };
  }
}

问题根源 #

这个警告并非客户端实例复用导致，而是Node.js的EventEmitter默认限制最多添加11个监听器。@elastic/elasticsearch底层依赖undici库处理HTTP请求，每次调用search方法时，会为请求的AbortSignal添加监听器；当循环快速发起多个异步请求时，这些监听器无法被及时回收清理，累积数量超过11个就触发内存泄漏警告。

更优解决方案 #

1. 批量查询替代循环单查（性能最优） #

将循环多次查询改为一次批量查询，从根源上减少请求次数和监听器创建：

async getBatchCachedData(keys) {
  const body = await this.client.search({
    index: this.index,
    body: {
      query: {
        ids: { values: keys }
      }
    }
  });

  return body.hits.hits.map(hit => ({
    key: hit._id,
    data: hit._source.data,
    timestamp: hit._source.timestamp
  }));
}

调用时直接传入所有需要查询的key数组，无需循环调用单查方法，既解决警告问题，又大幅提升查询效率。

2. 调整EventEmitter监听器上限（快速解决） #

放宽EventEmitter的监听器数量限制，可以针对Elasticsearch客户端的连接池单独设置，避免影响全局：

// 在CacheService初始化client后设置
this.client.transport.connectionPool.setMaxListeners(20); // 按需调整数量

或者全局设置（不推荐，影响所有EventEmitter实例）：

require('events').EventEmitter.defaultMaxListeners = 20;

3. 手动清理请求的AbortSignal #

给每个请求手动绑定AbortController，请求完成后终止信号，确保监听器被及时清理：

async getCachedData(key) {
  const controller = new AbortController();
  try {
    const body = await this.client.search({
      index: this.index,
      body: { query: { match: { _id: key } } },
      signal: controller.signal
    });

    const hits = body.hits.hits;
    if (hits.length > 0) {
      return {
        data: hits[0]._source.data,
        timestamp: hits[0]._source.timestamp
      };
    }
  } finally {
    controller.abort(); // 手动终止信号，清理关联监听器
  }
}

4. 升级Elasticsearch客户端版本 #

检查官方release notes，v8.8.1之后的版本是否修复了undici相关的监听器泄漏问题，升级到最新稳定版可能直接解决该问题。

内容的提问来源于stack exchange，提问作者southpaw93