分布式表查询distributed_group_by_no_merge效果及OOM问题咨询

该参数是ClickHouse分布式表查询的核心控制参数，作用是决定查询协调节点是否对各分片返回的中间结果做全局二次合并。

• 取值为0（默认值）：协调节点接收所有分片返回的局部GROUP BY结果，在本机完成全局聚合后返回最终结果，结果全局准确。
• 取值为1：协调节点跳过全局合并步骤，直接将各分片返回的局部聚合结果原样返回。

两个取值下的查询结果不保证完全一致，设置为1存在明确副作用：

1. 所有带GROUP BY的聚合操作仅在分片内部完成，count、sum、uniq等聚合函数返回的是分片级局部统计值，不会做全局加总、全局去重。仅当分片键与GROUP BY字段完全重合（即同一个分组的所有数据恰好全部分配到同一个分片）时，返回结果才与distributed_group_by_no_merge=0一致，其余场景结果均存在偏差。
2. 查询携带的ORDER BY、LIMIT语法仅在各分片内部生效，不会返回全局排序、全局分页的准确结果。
3. 唯一的正向作用是协调节点不需要缓存各分片的中间结果做合并，能大幅降低协调节点的内存占用，这也是该参数常被用于OOM场景应急的原因，但仅适用于可接受分片级结果、或业务侧自行实现二次聚合的场景。

distributed_group_by_no_merge=0时触发OOM、max_threads设置越高越容易失败的核心原因是：max_threads控制单节点查询的并行处理线程数，线程数越高，单节点同时驻留内存的数据块、中间聚合结果的内存占用叠加越高，再叠加协调节点存储所有分片中间结果做全局合并的内存开销，内存峰值会随并行度提升线性上涨，最终触发内存上限。
可按优先级选择以下调整措施，不需要牺牲结果准确性：

• 开启高效分布式聚合模式：将distributed_aggregation_memory_efficient参数设置为1，开启后协调节点做全局二次聚合时，会将超过阈值的中间结果溢写到磁盘，大幅降低内存常驻占用，不影响返回结果的准确性。
• 配置聚合溢写阈值：将max_bytes_before_external_group_by设置为单节点分配给查询的可用内存的50%（例如单节点给查询预留10G可用内存则设置为5G），当GROUP BY操作占用内存达到该阈值时，会自动将中间结果溢写磁盘，不会全量驻留内存；同时根据节点实际内存余量，适当调高max_memory_usage到安全阈值，避免正常查询被内存限制误杀。
• 合理设置并行度：不要盲目将max_threads设置为超过节点CPU物理核心数一半的数值，生产环境OLAP查询将max_threads设置为4~8的综合性价比最高，线程数过高除了抬升内存峰值，还会增加CPU上下文切换开销，反而拖慢查询速度。如果确实需要调高并行度，可以同步配置max_memory_usage_per_thread参数，按「单查询总可用内存/线程数」设置单线程内存硬上限，避免多线程内存叠加超限。
• 拆分查询降低单点压力：针对大时间跨度、大数据量的查询，可以在业务侧按时间分片、分片键维度拆分为多个小查询执行，最后在业务侧完成结果合并，替代协调节点全量缓存中间结果的逻辑，大幅降低协调节点的内存峰值。
• 非必要不直接将distributed_group_by_no_merge设为1应急，该方式会返回非全局准确的结果，如果必须使用，一定要在业务层完成二次全局聚合，不能直接使用查询返回的分片级结果。

内容的提问来源于stack exchange，提问作者heenabansal