PySpark DataFrame移除NULL、NaN及空值失败，如何正确处理？

你的问题核心在于：PySpark的na.drop()只识别Spark原生的Null/数值类型NaN，但你的DataFrame里存在两种它不处理的"空值"形式：空字符串（比如最后一行的age列）和字符串类型的"nan"（最后一行的date列），所以直接用na.drop()无法移除这些行。

解决步骤 #

我们需要先把所有非标准的空值形式统一转换成Spark能识别的Null，再执行na.drop()：

1. 统一转换所有空值为Spark Null #

使用when条件判断，把空字符串、trim后为空的字符串、字符串"nan"（不区分大小写）都替换成None（即Spark Null）：

from pyspark.sql.functions import col, when, trim, lower

# 遍历所有列，处理各种空值形式
cleaned_df = myDF.select([
    when(
        trim(col(c)) == "" |  # 处理空字符串（含仅空格的情况）
        col(c).isNull() |     # 处理原生Null
        lower(col(c)) == "nan",  # 处理字符串"nan"/"Nan"等
        None
    ).otherwise(col(c)).alias(c)
    for c in myDF.columns
])

2. 删除含Null的行 #

此时再执行na.drop()就可以移除所有包含空值/Null/NaN的行了：

cleaned_df.na.drop(how='any').show()

执行后，你的DataFrame会去掉最后一行，得到前6行的有效数据。

最佳实践 #

为了避免后续计算出现类似问题，建议在数据清洗阶段就做好统一处理：

• 对于字符串列：先执行trim()去除首尾空格，再判断是否为空或"nan"，转换成Spark Null
• 对于数值列：PySpark原生的NaN会被na.drop()识别，无需额外处理，但如果是字符串形式的数值"nan"，也要转成数值类型的NaN或Null
• 统一用Spark的Null来表示空值，这样PySpark的na系列API（drop/fill/replace）都能正常工作

内容的提问来源于stack exchange，提问作者Sumit