Azure Data Explorer物化视图缺失值向前填充的最优方案

我们尝试在Azure Data Explorer（ADX）中使用物化视图对原始传感器数据进行转换和聚合，需求之一是对缺失值执行向前填充——由于传感器数据上报速率不一致，在将数据聚合为10分钟时间分箱时部分传感器存在缺失值。

我曾尝试在创建物化视图时使用scan运算符进行向前填充，但scan运算符要求表需序列化或排序，而根据ADX官方文档，物化视图不支持此类操作。创建时收到错误：

"State": Failed,
"Status": Cannot create materialized view : Materialized view query cannot include partition operator or operators that require serialization (e.g., order by, sort by, serialize, top.,

我还尝试创建函数在查询物化视图时执行向前填充，但每次查询都会执行填充操作，导致性能大幅下降。

请问如何解决物化视图中10分钟时间分箱的缺失值填充问题？

针对ADX物化视图无法直接支持序列化类操作（如scan、order by）导致的向前填充难题，推荐以下两种高效可行的方案：

方案1：利用make-series在物化视图中直接生成带填充的连续时间序列 #

ADX的make-series运算符支持生成连续时间分箱序列，并可通过内置填充策略处理缺失值，且该运算符属于聚合类操作，可在物化视图中使用。

物化视图创建示例 #

.create materialized view mv_sensor_aggregated_filled on table SensorData
{
    SensorData
    // 按传感器ID分组，生成10分钟间隔的连续时间序列，用前值填充缺失的聚合值
    | make-series 
        avg_value = avg(Value) on Timestamp from ago(90d) to now() step 10m 
        by SensorId
        with (fill=forward)
    // 将展开序列为行格式，方便后续查询使用
    | mv-expand Timestamp to typeof(datetime), avg_value to typeof(double)
    | project SensorId, Timestamp, avg_value
}

注意事项 #

• 时间范围（from ago(90d) to now()）需根据业务数据保留周期调整，确保覆盖需要查询的历史数据；
• 物化视图会增量更新新摄入的数据，自动扩展时间序列的范围；
• 若需要多个聚合指标（如最大值、最小值），可在make-series中添加多个聚合表达式。

方案2：预生成填充后的数据表（定时查询+左连接填充） #

如果make-series的时间范围限制无法满足需求（如需要无限回溯历史数据），可通过定时查询规则将物化视图的聚合结果与全量时间分箱基准数据做左连接，预先完成向前填充并写入新表，查询时直接读取预填充表即可获得最优性能。

步骤1：创建基础聚合物化视图 #

先创建仅做10分钟分箱聚合的物化视图，保留所有有数据的时间点：

.create materialized view mv_sensor_raw_aggregated on table SensorData
{
    SensorData
    | summarize avg_value = avg(Value) 
    by SensorId, bin(Timestamp, 10m)
}

步骤2：创建定时查询规则执行填充 #

创建定时查询（如每小时执行一次），生成全量时间分箱+传感器维度的基准数据，与聚合结果左连接后执行向前填充，写入目标表：

// 定义时间范围（可根据业务调整，这里取最近30天）
let start_time = ago(30d);
let end_time = now();
// 生成连续的10分钟时间分箱
let time_bins = range Timestamp from start_time to end_time step 10m;
// 获取所有传感器ID
let all_sensors = mv_sensor_raw_aggregated | distinct SensorId;
// 生成全量基准数据集（所有传感器+所有时间分箱）
let base_dataset = time_bins | join kind=cross all_sensors on $left.empty = $right.empty;

// 左连接聚合数据，执行向前填充
base_dataset
| join kind=leftouter mv_sensor_raw_aggregated on SensorId, Timestamp
| order by SensorId, Timestamp
| fill_forward(avg_value) by SensorId
// 写入预填充表（若表不存在会自动创建）
| into table SensorData_Aggregated_Filled

优势 #

• 填充逻辑仅在定时任务执行时运行，查询时直接读取预计算结果，性能无损耗；
• 可灵活调整时间范围和填充规则，适合复杂的多维度填充场景。

方案对比 #

内容的提问来源于stack exchange，提问作者Morez