Scala：用最后一个非零值替换连续零序列（避免窗口函数）

核心思路 #

不用窗口函数的关键是用状态变量追踪最近的非零值，线性遍历数据即可：遇到非零值就更新状态变量，遇到零就直接用状态变量的值填充。这种方式没有分区、排序的额外开销，内存占用极低，完美适配大粒度分区的超大数据集。

具体实现示例 #

Python/Pandas 场景

如果用Pandas，既可以用简单循环手动维护状态，也可以用高效的矢量化填充：

import pandas as pd

# 构造示例数据
df = pd.DataFrame({'col': [1,2,3,4,0,0,1,2,3,0]})

# 方式1：手动循环维护状态（直观易懂）
last_non_zero = None
filled_vals = []
for val in df['col']:
    if val != 0:
        last_non_zero = val
        filled_vals.append(val)
    else:
        filled_vals.append(last_non_zero)

df['filled_col'] = filled_vals
print(df['filled_col'].tolist())
# 输出: [1, 2, 3, 4, 4, 4, 1, 2, 3, 3]

# 方式2：矢量化填充（性能更优，无显式循环）
mask = df['col'] != 0
df['filled_col'] = df['col'].where(mask, None).ffill()

SQL 场景

针对大表细分区的情况，用用户变量逐行处理，完全避开窗口函数：

-- 假设表为data，id是确保顺序的排序字段，val是目标列
SELECT 
    id,
    val,
    @last_non_zero := CASE WHEN val != 0 THEN val ELSE @last_non_zero END AS filled_val
FROM data,
(SELECT @last_non_zero := NULL) AS init_var
ORDER BY id;

注意事项 #

• 必须保证数据按业务正确的顺序处理（比如依赖自增ID、时间戳等排序键），否则填充结果会出错
• 如果数据中存在空值，可调整判断条件为val IS NOT NULL AND val != 0
• 两种方案都是O(n)时间复杂度，仅占用单个变量的内存，完全适配超大规模数据集

内容的提问来源于stack exchange，提问作者JuliaK