PySpark批量替换所有列空值为null报错求助

错误原因 #

你代码里的:_*是Scala语言的可变参数展开语法，而你使用的是PySpark（Python API），Python不支持这种语法，因此抛出SyntaxError。Python中需要用*运算符来展开可迭代对象作为函数的可变参数。

完整实现代码 #

以下是批量将所有列的空字符串、字符串型"null"替换为null的PySpark代码：

from pyspark.sql import functions as F

# 为所有列生成转换逻辑：空字符串/"null"转null，其余保留原值
cleaned_cols = [
    F.when(
        (F.col(col) == "") | (F.col(col) == "null"),
        F.lit(None)
    ).otherwise(F.col(col)).alias(col)
    for col in custom.columns
]

# 批量应用转换并查看结果
custom_cleaned = custom.select(*cleaned_cols)
custom_cleaned.show()

代码说明 #

1. 批量处理：通过列表推导遍历数据集的所有列，自动为每一列生成转换表达式，无需逐列手动编写。
2. 转换规则：使用when-otherwise条件判断：如果列值是空字符串""或字符串"null"，则替换为F.lit(None)（对应SQL标准中的null），否则保留原列值。
3. 语法修正：用Python的*运算符展开cleaned_cols列表，作为select()的参数，替代Scala风格的:_*。

简化写法（无需单独定义列表） #

也可以直接把列表推导嵌入select中，代码更紧凑：

from pyspark.sql import functions as F

custom_cleaned = custom.select(
    *[
        F.when(
            (F.col(c) == "") | (F.col(c) == "null"),
            F.lit(None)
        ).otherwise(F.col(c)).alias(c)
        for c in custom.columns
    ]
)
custom_cleaned.show()

内容的提问来源于stack exchange，提问作者Giorgi