PySpark两DataFrame互相补全缺失列时仅新增最后一列问题

你的补列循环存在变量引用错误：给sdf2补列时，每次迭代都是基于**原始未修改的sdf2**调用withColumn，没有基于上一轮已经补过列的df2做增量更新。
具体执行逻辑：

• 遍历到第一个缺失列colC时，在原始sdf2（仅colA/colB/colI/colJ四列）基础上加colC，赋值给df2，此时df2共5列
• 遍历到下一个缺失列colD时，仍然在原始sdf2基础上加colD，直接覆盖之前的df2，之前新增的colC直接丢失
• 循环持续覆盖变量，直到最后一轮遍历到colH，最终df2就只剩原始四列加最后一次新增的colH，和你看到的异常结果一致。

你提到sdf1补列结果正常，应该是实际运行时sdf1的补列循环右值写的是迭代后的df1，和贴出的代码存在笔误——如果两个循环都像贴出的代码那样用原始DF做withColumn，sdf1也会出现只保留最后一个新增列的问题。

方案1：修正循环逻辑（兼容所有Spark版本） #

首先修正循环内的变量引用，保证每次新增列都基于上一轮更新后的DataFrame，补列后可以通过select统一列顺序，方便后续做union等合并操作：

from pyspark.sql.functions import lit

# 先定义最终需要的全量列，可自定义顺序
full_columns = ['colA','colB','colC','colD','coldE','colF','colG','colH','colI','colJ']

# 补全sdf1的缺失列
df1 = sdf1
for col in [c for c in full_columns if c not in sdf1.columns]:
    df1 = df1.withColumn(col, lit(None))
df1 = df1.select(full_columns) # 对齐列顺序

# 补全sdf2的缺失列
df2 = sdf2
for col in [c for c in full_columns if c not in sdf2.columns]:
    df2 = df2.withColumn(col, lit(None))
df2 = df2.select(full_columns) # 对齐列顺序

方案2：批量选列补全（性能更好） #

不需要逐列循环调用withColumn，可以直接在select阶段一次性把缺失列构造为null值列，减少多次DataFrame转换的开销：

from pyspark.sql.functions import lit

full_columns = ['colA','colB','colC','colD','coldE','colF','colG','colH','colI','colJ']

# 补全sdf1
df1 = sdf1.select(
    *[sdf1[c] if c in sdf1.columns else lit(None).alias(c) for c in full_columns]
)

# 补全sdf2
df2 = sdf2.select(
    *[sdf2[c] if c in sdf2.columns else lit(None).alias(c) for c in full_columns]
)

方案3：原生API自动补列（Spark 3.1+适用） #

如果你的最终目的是合并两个DataFrame，不需要单独保留补全列后的两个DF，可以直接用Spark内置的unionByName方法，开启缺失列自动补全参数，一步完成合并，自动给缺失列填充null：

# 自动对齐列、补全缺失列后合并
merged_df = sdf1.unionByName(sdf2, allowMissingColumns=True)

内容的提问来源于stack exchange，提问作者budding pro