如何限制Elasticsearch分组聚合查询扫描的最大记录数避免OOM

针对高基数字段分组聚合触发的内存溢出问题，可通过以下多层方案组合限制扫描记录数、控制内存占用，避免节点重启：

单查询层硬限制扫描记录数 #

直接在查询请求中使用terminate_after参数，指定每个分片最多扫描的匹配文档数量，分片收集到阈值数量的文档后会直接终止查询流程，不再扫描剩余数据，从根源控制单查询的内存占用。

• 该参数对x/y/z/w所有字段的聚合查询均生效，无需修改索引结构
• 参数按分片维度生效，总扫描记录数=单分片阈值×查询命中的总分片数，设置时需结合集群分片规模计算总上限，例如3分片集群单分片阈值设为1000000时，总扫描量为300万条，内存占用完全可控
• 可在查询入口层做规则适配：如果聚合字段包含超高基数的x字段，强制设置更低的单分片阈值（如500000）；聚合字段为y/z/w等基数较低的字段时，可适当调高阈值适配业务精度要求

集群层全局防护配置 #

• 配置默认扫描上限：通过search.default_terminate_after参数设置集群全局默认的terminate_after值，所有未显式传参的查询都会自动套用该阈值，避免漏配防护的异常大查询扫全量数据
• 开启内存熔断：调整indices.breaker.querydb.limit参数，将查询阶段的堆内存熔断阈值设为节点堆内存的40%-50%，一旦查询申请的内存超过阈值直接抛出错误终止请求，不会等到OOM触发节点重启
• 限制聚合桶上限：将search.max_buckets参数设为10000，同时在查询入口校验所有分组聚合的size参数，禁止设置超过阈值的桶数量，避免聚合生成海量分组占满堆内存

索引层缩小扫描范围 #

结合业务查询仅覆盖最近30天数据的特点，做索引结构优化：

• 按天/周粒度拆分时间索引，将30天外的历史索引迁移至只读冷节点存储，查询时仅路由到30天内的热索引分片，物理上缩小聚合扫描的数据集规模
• 所有用于聚合的x/y/z/w字段统一使用keyword类型存储、开启doc_values，禁止在text字段上开启fielddata做聚合，避免堆内存被无效字段缓存占满
• 针对x这类超高基数字段，可按天提前做维度预聚合，把常用统计结果写入独立的汇总索引，高频聚合查询直接访问汇总结果，不需要扫描全量原始明细

补充说明：如果业务对聚合精度要求极高，不适合用terminate_after截断扫描，可通过协调节点层做查询队列限流，把包含x字段的聚合请求路由到单独的专用协调节点执行，避免大查询影响集群整体稳定性。

内容的提问来源于stack exchange，提问作者Raj