Kusto大数据集下Forward Filling列的内存优化方案咨询

当处理大规模数据集时，使用scan算子实现按ObjectAndId分组的空值前向填充会因全局扫描和排序带来极高内存消耗，以下是几种针对性优化方案：

方案1：使用内置ffill函数替代scan #

Kusto原生提供了ffill()函数专门用于前向填充，引擎对其做了深度优化，性能远优于自定义scan逻辑，同时代码更简洁。

优化后查询代码 #

MyMaterialisedView
| extend Value = iff(isnan(Value), double(null), Value) // 将NAN转为Null
| partition by ObjectAndId (
    order by ['10MinBin'] asc
    | extend Value = ffill(Value)
)
| project-away ObjectAndId

优势 #

• 原生函数优化：ffill是Kusto引擎原生实现的聚合类函数，内存占用和执行效率远高于自定义scan逻辑
• 分区处理：partition by ObjectAndId确保每个分组独立处理，避免全局数据加载带来的内存压力

方案2：对scan算子添加分区约束 #

如果因版本限制无法使用ffill，可以给scan算子加上partition by，让每个分组独立执行扫描逻辑，分散内存负载：

优化后查询代码 #

MyMaterialisedView
| extend Value = iff(isnan(Value), double(null), Value)
| partition by ObjectAndId (
    order by ['10MinBin'] asc
    | scan declare (val: real) with (
        step s1: true => val = iff(isempty(Value), s1.val, Value);
    )
    | extend Value = val
    | project-away val
)
| project-away ObjectAndId

优势 #

• 避免全局扫描：原查询是全局排序后执行scan，现在每个分组单独排序和扫描，单批次处理的数据量大幅降低，内存占用显著减少

方案3：在物化视图层面提前处理填充 #

如果业务允许，可以在创建物化视图时就完成前向填充，避免每次查询都重复计算：

创建物化视图示例 #

.create materialized view MyMaterialisedView_Filled on table MySourceTable
{
    MySourceTable
    | extend Value = iff(isnan(Value), double(null), Value)
    | partition by ObjectAndId (
        order by ['10MinBin'] asc
        | extend Value = ffill(Value)
    )
}

优势 #

• 计算复用：填充逻辑仅在数据写入时执行一次，查询直接读取已填充好的结果，完全避免查询阶段的内存消耗

内容的提问来源于stack exchange，提问作者Morez