PySpark DataFrame热卡填充（Hot Deck Imputation）失效问题排查求助

我来帮你排查下代码没生效的原因！你的热卡填充逻辑思路是对的，但有两个关键细节没处理好，导致缺失值没被替换：

1. 错误的空值判断逻辑 #

PySpark中的**真正缺失值（NULL）**和字符串'null'完全是两回事！你代码里的df[col] == 'null'只会匹配那些值是字符串"null"的行，而不会识别PySpark原生的NULL值。

正确的空值判断应该用df[col].isNull()（通用所有类型），如果是数值型列（比如你的bmi），还可以结合df[col].isNaN()来处理NaN类型的缺失值。

2. lag函数无法处理连续缺失值 #

lag(col).over(window)只能取当前行的前一行值，如果前一行本身就是缺失值，那填充后还是NULL，没法实现热卡填充“取最近非空值”的核心需求。

我们应该用last(col, ignoreNulls=True)函数，它会在窗口范围内自动跳过空值，找到最近的一个非空值来填充，完美匹配热卡填充的逻辑。

修正后的完整代码 #

from pyspark.sql.window import Window
from pyspark.sql.functions import when, last

def impute_hot_deck(df, col, ref_col, partition_cols=None):
    # 构建窗口规则：支持可选分组（比如按性别分组填充，更符合业务逻辑）
    window_spec = Window.orderBy(ref_col)
    if partition_cols:
        # 如果传入分组列，先分区再排序，保证同组内填充
        window_spec = window_spec.partitionBy(*partition_cols)
    
    # 填充逻辑：空值用最近非空值替换，非空值保留原内容
    df_imputed = df.withColumn(
        col,
        when(
            df[col].isNull() | df[col].isNaN(),  # 同时处理NULL和NaN
            last(col, ignoreNulls=True).over(window_spec)
        ).otherwise(df[col])
    )
    return df_imputed

使用示例 #

• 基础用法（和你原来的需求一致，按age排序填充bmi）：

  df_imputed = impute_hot_deck(df, "bmi", "age")
  

• 进阶用法（按gender分组，组内按age排序填充bmi，更贴合数据分布逻辑）：

  df_imputed = impute_hot_deck(df, "bmi", "age", partition_cols=["gender"])
  

效果验证 #

针对你给出的示例数据，最后一行的bmi为NULL，用修正后的代码执行后，这个NULL会被替换成上一行的16.8；如果后续还有连续的NULL，也会一直取最近的非空值填充，完全符合热卡填充的预期。

内容的提问来源于stack exchange，提问作者Togepitsch