如何高效处理Azure Data Explorer（Kusto）中的延迟事件？

1. 配置按timestamp的分区策略 #

直接明确告诉ADX核心查询维度是timestamp，通过分区策略指定按天（或匹配你查询粒度的周期）对该字段分区。ADX后台的合并流程会自动将同分区的延迟数据归拢到对应日期的extents中，减少跨日期数据混合的情况。

执行以下命令配置分区策略（替换YourTableName为实际表名）：

.alter table YourTableName policy partitioning @'{"PartitionKeys": [{"ColumnName": "timestamp", "Kind": "Uniform", "Properties": {"Reference": "2020-01-01T00:00:00", "RangeSize": "1.00:00:00"}}]}'

2. 调整异步合并策略适配延迟场景 #

ADX默认的extent合并机制可处理延迟数据，但针对你提到的3-7天延迟情况，可调整合并策略的回溯窗口，确保这段时间内的延迟数据能被合并到对应分区的extents里。

执行命令调整合并策略：

.alter table YourTableName policy merge @'{"RowCountUpperBoundForMerge": 1000000, "OriginalSizeMBUpperBoundForMerge": 1024, "MaxExtentsToMerge": 100, "AllowMergeWithTombstones": true, "LookbackWindow": "7.00:00:00"}'

这里的LookbackWindow设为7天，刚好覆盖故障恢复后的延迟数据范围。

3. 极端延迟场景用临时表+更新策略（可选） #

如果延迟数据量极大，可先把原始数据写入临时接收表，再通过更新策略按timestamp将数据迁移到带分区的目标表。这种方式能确保目标表的extents完全按timestamp分区，彻底避免跨日期数据混合。

步骤示例：

• 创建带分区策略的目标表
• 创建临时表并配置更新策略，自动将符合时间范围的数据同步到目标表：

.alter table TempIoTTable policy update @'[{"IsEnabled": true, "Source": "TempIoTTable", "Query": "TempIoTTable | where timestamp >= ago(90d)", "Destination": "TargetIoTTable", "Transactional": true, "PropagateIngestionProperties": true}]'

4. 查询时优先过滤timestamp #

不管extents是否完全优化，查询时始终先通过timestamp过滤时间范围（比如过去30天），ADX的查询优化器会利用分区信息直接跳过不相关的extents，大幅减少数据扫描量。

高效查询示例：

TargetIoTTable
| where timestamp between (ago(30d) and now())
| // 后续业务处理逻辑

内容的提问来源于stack exchange，提问作者motobói