如何在PySpark中实现类似Pandas的INPLACE式NA值永久替换？

PySpark的DataFrame是不可变对象，所有转换操作（包括na.fill()）都会返回一个新的DataFrame实例，不会直接修改原对象——这是和Pandasinplace参数最核心的区别，不存在所谓的"原地修改"逻辑。

要实现你需要的"永久替换"效果，只需将na.fill()的结果重新赋值给原变量即可：

基础用法：统一填充所有列 #

# 将所有列的NA/空值替换为0，并覆盖原变量
df = df.na.fill(0)

进阶用法：针对不同列设置不同填充值 #

如果需要给不同列指定不同的填充值，可以传入字典参数：

# 为指定列设置自定义填充值
df = df.na.fill({
    "numeric_col": 0,
    "string_col": "unknown",
    "date_col": "2020-01-01"
})

验证替换结果 #

执行你原本的空值检查代码，就能看到对应列的空值计数变为0：

from pyspark.sql.functions import count, when, isnan, col

df.select([
    count(when(isnan(c) | col(c).isNull(), c)).alias(c) 
    for c in df.columns
]).show()

注意：后续所有基于该数据集的操作，必须使用重新赋值后的df变量，原变量指向的仍是未修改的初始DataFrame。

内容的提问来源于stack exchange，提问作者MrDataAnalyst