PySpark如何对来自列表的多列执行非空过滤操作？

方案1：直接调用原生dropna方法（最简洁） #

Spark DataFrame内置的dropna方法原生支持指定列范围的非空过滤，完全匹配需求，无需手动拼接条件：

# 从配置文件解析得到的待过滤列列表
colList = ['COLUMN_1', 'COLUMN_2', ..., 'COLUMN_10']
# subset指定检查非空的列范围，默认只要指定列中有一个为空就删除该行，剩余即为所有指定列都非空的记录
df = dataDF.dropna(subset=colList)

方案2：拼接过滤条件单次执行（和硬编码逻辑100%等价） #

如果需要自定义更复杂的过滤规则，可以用reduce拼接所有条件，仅执行一次过滤动作，性能优于循环多次过滤：

from functools import reduce
from pyspark.sql.functions import col

colList = ['COLUMN_1', 'COLUMN_2', ..., 'COLUMN_10']
# 拼接所有非空条件，和硬编码的&连接逻辑完全一致
filter_condition = reduce(lambda prev, curr: prev & curr, [~col(col_name).isNull() for col_name in colList])
df = dataDF.filter(filter_condition)

循环过滤返回0条记录的排查方向 #

逻辑上循环多次调用filter和上述两种方案的过滤规则完全等价，如果返回结果为空，优先排查两个问题：

• 列名匹配问题：确认从配置文件读取的列名和DataFrame实际列名的拼写、大小写完全一致，列名写错会导致过滤条件永远为false，返回空结果
• 数据分布问题：确认数据集本身存在所有指定列同时非空的记录，可以单独统计每个列的非空占比验证

内容的提问来源于stack exchange，提问作者aiman