限制Azure Data Explorer更新策略输入 解决内存溢出问题

针对你的场景：单条原始矩阵消息生成约1200条记录，Update Policy因单次拉取过多数据触发Aggregation over string column exceeded the memory budget of 8GB during evaluation报错，且调整ingestion batching、sharding policy无效，以下是几个可落地的方案：

方案1：标记列+Take限制单次处理量 #

通过在原始Ingest表中添加状态标记，实现每次仅处理指定数量的未加工记录：

1. 给ingest-table添加状态列：

.alter table ['ingest-table'] add column IsProcessed bool notnull default(false)

2. 修改Update Policy的查询逻辑，每次仅取1000条未处理记录：

['ingest-table']
| where IsProcessed == false
| take 1000
| mv-expand Counter = Data.Counters
| mv-expand with_itemindex = r Row = Rows
| mv-expand Column = Rows[r].Data
| project <你的原有投影字段>, IsProcessed=true

3. 将Update Policy设置为Merge模式，确保原始表的状态列被更新：

.alter table ['main-table'] policy update 
@'[{"IsEnabled": true, "Source": "ingest-table", "Query": "<替换为上面的查询语句>", "IsTransactional": true, "PropagateIngestionProperties": true, "Merge": true}]'

每次Update Policy触发时，只会处理1000条未标记的原始记录，从源头控制数据量，避免内存溢出。

方案2：新增中间过渡表拆分处理流程 #

若不想改动原始Ingest表结构，可通过中间表实现分批处理：

1. 创建与ingest-table结构一致的过渡表：

.create table ['staging-table'] like ['ingest-table']

2. 给ingest-table配置Update Policy，将原始数据直接同步到过渡表：

.alter table ['staging-table'] policy update 
@'[{"IsEnabled": true, "Source": "ingest-table", "Query": "ingest-table", "IsTransactional": true, "PropagateIngestionProperties": true}]'

3. 给过渡表配置带数量限制的Update Policy，处理后写入main-table：

.alter table ['main-table'] policy update 
@'[{"IsEnabled": true, "Source": "staging-table", "Query": "staging-table | where IsProcessed == false | take 1000 | mv-expand Counter = Data.Counters | mv-expand with_itemindex = r Row = Rows | mv-expand Column = Rows[r].Data | project <你的原有投影字段>, IsProcessed=true", "IsTransactional": true, "PropagateIngestionProperties": true, "Merge": true}]'

此方案通过中间层隔离原始数据与处理逻辑，适合需要保留原始Ingest表纯净性的场景。

方案3：临时调高查询内存预算（应急备选） #

若以上方案无法快速落地，可临时调整集群的单查询内存上限，但这仅为应急手段，不推荐长期使用：

.set query_memory_limit_per_query 16GB

注意：该调整会占用集群更多资源，可能影响其他查询的稳定性，仅作为短期过渡方案。

内容的提问来源于stack exchange，提问作者relaxpn