大数据集聚合触发E_RUNAWAY_QUERY错误：内存超限求解决方案

1. 两阶段分层聚合（优先推荐） #

先在每个数据源/分片完成局部聚合，把重复的字符串先统计一次，再做全局聚合，大幅减少全局阶段需要处理的唯一值数量，降低内存占用。

your_table
// 第一步：局部聚合，每个节点先统计自己范围内的字符串计数
| summarize local_count = count() by <string_field>
// 第二步：用shuffle策略做全局聚合，合并各节点的局部结果
| summarize hint.strategy=shuffle count_ = sum(local_count) by <string_field>
| sort by count_ desc
| limit 100

2. 调整节点级内存限制参数 #

除了maxmemoryconsumptionperiterator，可以尝试设置maxmemoryconsumptionpernode参数，这个参数控制每个查询节点的内存上限，更适配跨多集群场景（注意：该参数需要集群管理员开放调整权限）。

// 设置每个节点的内存上限为16GB（可根据集群配置调整）
set maxmemoryconsumptionpernode=16777216000;

your_table
| summarize hint.strategy=shuffle count() by <string_field>
| sort by count_
| limit 100

3. 用哈希值替代原字符串聚合 #

将可变长度的字符串转换为固定长度的哈希值，大幅降低内存占用，之后再关联回原字符串得到最终结果。

set maxmemoryconsumptionperiterator=108719476736;

your_table
// 生成字符串的哈希值（用murmurhash3，冲突概率极低）
| extend str_hash = fn_murmurhash3_x64(<string_field>)
// 按哈希值做shuffle聚合，内存占用远低于原字符串
| summarize hint.strategy=shuffle count_ = count() by str_hash
// 关联回原字符串（用any()取该哈希对应的任意一个原字符串）
| join kind=inner (your_table | summarize original_str = any(<string_field>) by str_hash) on str_hash
| project original_str, count_
| sort by count_ desc
| limit 100

如果担心哈希冲突，可以同时生成两个不同的哈希值（比如fn_murmurhash3_x64和md5_hash），用双哈希作为聚合键，进一步降低冲突概率。

4. 分时间段分区查询 #

如果数据按时间分区，拆分查询时间段，先获取每个时间段的Top100结果，再合并计算全局Top100，避免一次性处理全量数据。

// 按天拆分30天的查询范围
let time_intervals = range start_time from ago(30d) to now() step 1d;
// 遍历每个时间段，查询局部Top100
union (
    range idx from 0 to array_length(time_intervals)-1 step 1
    | extend start = time_intervals[idx], end = start + 1d
    | invoke (
        (tbl) {
            your_table
            | where timestamp between (start .. end)
            | summarize count_ = count() by <string_field>
            | sort by count_ desc
            | limit 100
        }
    )
)
// 合并所有局部结果，计算全局计数
| summarize total_count = sum(count_) by <string_field>
| sort by total_count desc
| limit 100

内容的提问来源于stack exchange，提问作者omri