Spark DataFrame列非空标记报错与性能优化求助

报错原因分析 #

你遇到的AnalysisException本质原因：

• 执行df_filled = df.select(df.columns[0:4])后，df_filled仅包含原DataFrame的前4列，与原DataFrame无关联。
• 后续循环中通过df[col]引用原DataFrame的列时，Spark无法在df_filled的 schema 中解析这些列，导致属性缺失报错。

高效解决方案 #

最优方案：使用1/0标记（性能更优） #

整数类型的1/0比字符串filled/notfilled占用更少存储、处理速度更快，适合大数据场景。直接通过一次select操作构建所有列表达式，避免多次withColumn的性能开销：

from pyspark.sql.functions import col

# 拆分列：前4列保留原数据，剩余列转为1/0标记（1=非空，0=空）
original_cols = df.columns[:4]
transformed_cols = [col(c).isNotNull().cast("integer").alias(c) for c in df.columns[4:]]

# 一次性生成目标DataFrame
df_filled = df.select(original_cols + transformed_cols)

字符串标记方案（如需业务可读性） #

如果必须使用filled/notfilled，同样用一次select实现：

from pyspark.sql.functions import col, when

original_cols = df.columns[:4]
transformed_cols = [
    when(col(c).isNull(), "notfilled").otherwise("filled").alias(c) 
    for c in df.columns[4:]
]

df_filled = df.select(original_cols + transformed_cols)

性能优化说明 #

• 避免循环调用withColumn：每次withColumn都会生成新的DataFrame执行计划，多次调用会增加Spark的优化开销，尤其当列数较多时（你提到超过15列）。
• 优先使用整数类型：相较于字符串，整数的序列化/反序列化更快，存储成本更低，适合10GB级别的大数据处理。

内容的提问来源于stack exchange，提问作者budding pro