NodeJS用@elastic/enterprise-search获全量文档遇1万条限制求助

问题根源 #

Elastic Enterprise Search 默认限制单次请求的size参数最大值为10000，这是出于性能保护的设计——避免超大请求拖垮集群。直接用常规from/size分页，超过10000条后会无法返回更多数据。

可行解决方案 #

1. 使用Scroll API（滚动查询） #

这是导出全量数据的标准方案，通过创建滚动会话分批拉取数据，直到所有文档获取完成。

示例代码：

const { EnterpriseSearch } = require('@elastic/enterprise-search');

const client = new EnterpriseSearch({
  url: '你的Enterprise Search地址',
  apiKey: '你的API密钥'
});

async function fetchAllDocs() {
  const engineName = '目标引擎名称';
  const batchSize = 1000;
  let scrollId;
  let allDocs = [];

  // 初始化滚动会话
  const initRes = await client.app.search(engineName, {
    query: '*',
    size: batchSize,
    scroll: '1m' // 会话有效期设为1分钟
  });
  allDocs.push(...initRes.results);
  scrollId = initRes.scroll_id;

  // 循环拉取剩余数据
  while (true) {
    try {
      const scrollRes = await client.app.scroll(engineName, {
        scroll_id: scrollId,
        scroll: '1m'
      });

      if (scrollRes.results.length === 0) break;
      allDocs.push(...scrollRes.results);
      scrollId = scrollRes.scroll_id;
    } catch (err) {
      console.error('滚动查询失败:', err);
      break;
    }
  }

  // 释放滚动会话资源
  await client.app.clearScroll(engineName, { scroll_id: scrollId });
  console.log('总获取文档数:', allDocs.length);
  return allDocs;
}

fetchAllDocs().catch(console.error);

2. 使用Search After API #

如果需要实时获取数据（Scroll API是基于快照的），可以用Search After。它依赖上一批最后一条文档的排序字段值，实现无分页深度限制的滚动。

注意：必须指定唯一排序字段（比如文档的id或内置_id），避免数据重复或遗漏。

示例代码：

const { EnterpriseSearch } = require('@elastic/enterprise-search');

const client = new EnterpriseSearch({
  url: '你的Enterprise Search地址',
  apiKey: '你的API密钥'
});

async function fetchAllDocsWithSearchAfter() {
  const engineName = '目标引擎名称';
  const batchSize = 1000;
  let allDocs = [];
  let searchAfter = null;

  while (true) {
    const queryOpts = {
      query: '*',
      size: batchSize,
      sort: [{ id: 'asc' }] // 用唯一字段排序
    };

    if (searchAfter) queryOpts.search_after = searchAfter;

    const res = await client.app.search(engineName, queryOpts);
    if (res.results.length === 0) break;

    allDocs.push(...res.results);
    // 取最后一条文档的排序值，作为下一次查询的标记
    searchAfter = res.results.at(-1).sort;
  }

  console.log('总获取文档数:', allDocs.length);
  return allDocs;
}

fetchAllDocsWithSearchAfter().catch(console.error);

3. 检查引擎配置 #

确认你的Enterprise Search引擎没有额外自定义限制——默认情况下无需修改最大返回条数，强制调高可能引发性能问题。

注意事项 #

• Scroll API适合一次性全量导出，但会话会占用集群资源，务必调用clearScroll释放。
• Search After API适合实时数据场景，无需维护会话，但依赖稳定的唯一排序字段。
• 批量大小建议设为1000-2000条，避免单次请求超时或内存占用过高。

内容的提问来源于stack exchange，提问作者MrLenoir