PySpark DataFrame如何追加指定列数据并将其余列设为Null？已试Union/Merge无效

核心问题是Union操作要求两个DataFrame的Schema完全匹配（列名、数据类型、顺序必须完全一致），你之前用Union失败就是因为第二个DF的列名和数量和第一个对不上。下面是具体的实现步骤：

1. 先拿到第一个DataFrame的列信息 #

假设第一个DF叫df1，先获取它的所有列名，方便后续对齐Schema：

df1_cols = df1.columns

2. 把第二个DataFrame转换成第一个的Schema #

假设第二个DF叫df2，我们需要做两件事：

• 把diffName重命名成col1，和df1的对应列统一
• 给df1里剩下的列（col2到coln）都添上Null值列，列名和数据类型都要和df1一致

代码实现：

from pyspark.sql.functions import lit

# 第一步：重命名列
transformed_df2 = df2.withColumnRenamed("diffName", "col1")

# 第二步：给df1的其他列添加Null值，同时匹配数据类型
for col in df1_cols[1:]:
    # 用df1对应列的类型来转换Null，避免类型不匹配
    transformed_df2 = transformed_df2.withColumn(col, lit(None).cast(df1.schema[col].dataType))

# 最后调整列的顺序，和df1完全一致
transformed_df2 = transformed_df2.select(df1_cols)

3. 执行Union合并 #

现在两个DF的Schema完全一致了，直接用Union合并就行：

final_df = df1.union(transformed_df2)

简化写法（列多的时候用） #

如果df1的列特别多，循环写起来麻烦，可以用列表推导式简化：

from pyspark.sql.functions import lit

transformed_df2 = (df2.withColumnRenamed("diffName", "col1")
                   .select(
                       "col1",
                       *[lit(None).cast(df1.schema[col].dataType).alias(col) for col in df1_cols[1:]]
                   ))

注意点 #

一定要保证填充的Null值数据类型和df1对应列一致，不然Union还是会报错——这也是很多人容易忽略的细节。

内容的提问来源于stack exchange，提问作者Jeet Shah