PySpark统计列中NULL、空值与NaN时遇类型错误求助

这个报错我太熟悉了！问题出在你调用isnan的方式上——在PySpark里，isnan不是DataFrame列对象的方法，而是pyspark.sql.functions模块下的独立函数，不能直接用df["ID"].isnan()这种写法，这才导致了'Column' object is not callable的错误。

错误原因拆解 #

• df["ID"].isNull()：这个写法是对的，isNull()确实是PySpark Column对象的内置方法，用来判断列值是否为NULL
• df["ID"] == ""：这个空字符串判断也没问题
• df["ID"].isnan()：这就是问题所在！isnan不属于Column对象的方法，而是需要通过pyspark.sql.functions来调用的函数，直接用列对象去调用它就会触发类型错误

正确的实现代码 #

首先需要导入PySpark的functions模块，然后用正确的方式调用isnan：

from pyspark.sql import functions as F

# 统计ID列中空字符串、NULL、NaN的总数
invalid_count = df.filter(
    (df["ID"] == "") | 
    df["ID"].isNull() | 
    F.isnan(df["ID"])
).count()

print(f"无效值总数: {invalid_count}")

额外注意事项 #

如果你的ID列是字符串类型，F.isnan()其实不会起作用（因为NaN是数值类型的特殊值，字符串里的"NaN"文本不属于这个范畴）。如果需要同时统计字符串形式的"NaN"，可以再加一个判断条件：

invalid_count = df.filter(
    (df["ID"] == "") | 
    df["ID"].isNull() | 
    F.isnan(df["ID"]) |
    (df["ID"] == "NaN")  # 针对字符串类型的"NaN"文本
).count()

内容的提问来源于stack exchange，提问作者qwertz