如何删除PySpark DataFrame中所有列均为Null的行？

我来帮你搞定这个需求！你想要移除所有列的值全为null的行，同时保留那些至少有一个非null值的行，而且需要通用方案适配列数较多的场景对吧？

这里有两种高效的通用方法，尤其是第一种超级简洁，完全不用关心列名数量：

方法1：使用dropna()的how='all'参数（推荐） #

PySpark的DataFrame.dropna()方法专门用来处理缺失值，当你设置how='all'时，它会自动删除所有列都是null的行，完美匹配你的需求，而且不管DataFrame有多少列都能直接用，不需要手动指定列名。

示例代码：

# 先创建你的示例DataFrame（模拟输入）
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

spark = SparkSession.builder.appName("CleanAllNullRows").getOrCreate()

schema = StructType([
    StructField("ID", IntegerType(), nullable=True),
    StructField("TYPE", StringType(), nullable=True),
    StructField("CODE", StringType(), nullable=True)
])

data = [
    (1, "B", "X1"),
    (None, None, None),
    (None, "B", "X1")
]

df = spark.createDataFrame(data, schema=schema)

# 核心处理代码：移除全null行
cleaned_df = df.dropna(how='all')
cleaned_df.show()

执行后就能得到你想要的结果：

+----+----+----+
| ID|TYPE|CODE|
+----+----+----+
| 1| B| X1|
|null| B| X1|
+----+----+----+

方法2：用filter结合列遍历（自定义逻辑场景） #

如果需要更灵活的逻辑（比如后续要调整判断规则），可以通过遍历所有列，生成“至少一列非null”的过滤条件：

from pyspark.sql.functions import col

# 生成所有列的非null判断条件，然后用逻辑或组合
non_null_conditions = [col(column).isNotNull() for column in df.columns]
cleaned_df = df.filter(*non_null_conditions)
cleaned_df.show()

这个方法的逻辑是：只要某一行满足任意一列非null，就会被保留，同样能实现效果，适合需要扩展逻辑的场景。

总结 #

如果只是单纯移除全null行，优先用方法1的dropna(how='all')，它是PySpark官方优化过的API，代码最简洁，性能也最优，完全适配列数多的场景。

内容的提问来源于stack exchange，提问作者kww