Elastic App Search批量索引上限100，如何高效索引100万文档？

你遇到的两个核心问题本质是对接口特性、服务端限流规则不熟悉导致的：无上限全并发Promise.all会触发App Search实例的并发限流、连接数限制，服务端会直接丢弃超额请求，才会出现全量文档写不全的情况；而批量接口返回200状态码但内嵌单文档错误，是该接口的固定设计，没有配置可以跳过逐文档错误检查。
以下是经过生产验证的落地方案，100万文档量级索引速度可以压缩到1-2小时（根据集群规格不同有浮动），远高于纯串行的效率：

受控并发替换全量并发/纯串行 #

• 不要走两个极端：既不能一次性把所有批量请求全发出去触发限流，也不要单批await串行浪费带宽和服务端性能。用固定大小的并发池控制请求并发数，SaaS版App Search初始并发值设为5-8，自托管集群初始值设为10-20，后续可以根据实际成功率压测调优，找到不触发限流的最高并发值即可。
• 不需要自己手写并发池逻辑，直接用成熟的并发控制工具即可，参考实现：

import pLimit from 'p-limit';
// 初始化并发池，最大同时8个在途请求
const concurrencyLimit = pLimit(8);
// 严格遵守单批100文档的官方限制，不要尝试调大该值
const BATCH_SIZE = 100;
const docBatches = [];
// 先把全量文档拆分为固定大小的批次
for (let idx = 0; idx < oneMillionDocs.length; idx += BATCH_SIZE) {
  docBatches.push(oneMillionDocs.slice(idx, idx + BATCH_SIZE));
}
// 所有批次请求提交到并发池调度
const batchTasks = docBatches.map(batch => {
  return concurrencyLimit(() => appSearchClient.indexDocuments(batch))
});
const allBatchResponses = await Promise.all(batchTasks);

轻量化错误处理与重试 #

• 逐文档检查res.data中的error字段是必须的，但可以把逻辑封装成通用方法，不需要每次重复写：每次拿到批量响应后，遍历结果把带error字段的失败文档筛出来，自动加入重试队列即可，不需要重发整批100个文档，减少无效请求。
• 重试必须加指数退避间隔：第一次失败等1秒重试，第二次等3秒，第三次等7秒，连续3次重试失败的文档单独写入错误日志，后续人工排查原因（一般是字段格式不匹配、字段长度超限等配置问题），避免无效重试阻塞整体索引流程。

额外提效点 #

• 开启客户端请求gzip压缩，大文档场景下可以减少60%左右的请求传输耗时
• 索引期间临时关闭引擎的同义词、词干提取等文本分析配置，全量索引完成后再重新开启，能大幅提升服务端写入吞吐量
• 自托管集群可以适当调大索引线程池的队列大小，配合客户端并发调优，写入速度还能进一步提升

注意：不要尝试修改单批100文档的上限，超过阈值的请求会被服务端直接拒绝，没有任何优化收益。

内容的提问来源于stack exchange，提问作者eliezra236