使用Hive或Spark Scala实现窗口数据规整（空值反向填充）

嘿，你要的这种把null值用最近上方非空值填充的需求，其实是数据处理里很常见的**向前填充（forward fill）**场景，我给你准备了Hive SQL和Spark Scala DataFrame两种实现方案，完全匹配你的输入输出要求：

需求明确 #

输入数据集 #

期望输出数据集 #

Hive SQL实现方案 #

核心思路是先给每个非空值覆盖的区域打上分组标记，然后在分组内复用第一个非空值：

WITH grouped_data AS (
    SELECT 
        ID,
        VALUE,
        -- 非空值行记1，累加后得到分组ID，同一非空值区域的行分组ID相同
        SUM(CASE WHEN VALUE IS NOT NULL THEN 1 ELSE 0 END) OVER (ORDER BY ID) AS group_id
    FROM your_table_name -- 替换成你的实际表名
)
SELECT 
    ID,
    -- 取分组内第一个非空值，填充整个分组的所有行
    FIRST_VALUE(VALUE) OVER (PARTITION BY group_id ORDER BY ID) AS Value
FROM grouped_data
ORDER BY ID;

Spark Scala DataFrame实现方案 #

用Spark的窗口函数API实现同样逻辑，代码更简洁直观：

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._

// 假设你已经有输入DataFrame df，结构为ID: Int, VALUE: String
val groupWindow = Window.orderBy("ID")
val fillWindow = Window.partitionBy("group_id").orderBy("ID")

val resultDf = df
    // 生成分组ID：非空值行累加1，空值继承前面的分组ID
    .withColumn("group_id", sum(when(col("VALUE").isNotNull, 1).otherwise(0)).over(groupWindow))
    // 在分组内取第一个非空值，ignoreNulls参数确保跳过空值
    .withColumn("Value", first(col("VALUE"), ignoreNulls = true).over(fillWindow))
    .select("ID", "Value")
    .orderBy("ID")

// 查看最终结果
resultDf.show()

小提示 #

两种方案都依赖ID字段是有序的，因为我们是按照ID的顺序来匹配最近的上方非空值的。如果你的业务需要按其他字段排序，只需要修改orderBy里的字段即可。

内容的提问来源于stack exchange，提问作者Kumar