合并列结构不同的Spark DataFrame并保留全部列的问题咨询

嗨，我来帮你搞定这个Spark DataFrame合并的问题！你遇到的列错位、丢列问题，核心原因是union方法是按列的位置而非列名来合并数据的——你的两个DataFrame列数不同、列顺序也不匹配，直接用union自然会乱套。

下面是具体的解决方案，分步骤来：

核心思路 #

要合并两个结构不同的DataFrame，首先得让它们的列结构完全对齐：

• 给每个DataFrame补充对方没有的列，缺失列的值设为null（或空字符串）
• 确保Date_part列在df2中被统一填充为你需要的7/1/2021
• 用按列名匹配的合并方法（而非按位置）来避免错位

具体代码实现（Python版本） #

假设你用的是Spark 2.3及以上版本，推荐用unionByName方法，它会自动按列名匹配，不用纠结列顺序：

第一步：补充df1的缺失列

df1缺少Brands和values列，我们给它加上，值设为null：

from pyspark.sql.functions import lit

# 给df1补充Brands和values列
df1_updated = df1.withColumn("Brands", lit(None).cast("string")) \
                 .withColumn("values", lit(None).cast("integer"))

第二步：补充并填充df2的缺失列

df2缺少Sector和Date_part列，其中Date_part需要统一填充为7/1/2021：

# 给df2补充Sector列，同时填充Date_part
df2_updated = df2.withColumn("Sector", lit(None).cast("string")) \
                 .withColumn("Date_part", lit("7/1/2021"))

第三步：按列名合并两个DataFrame

# 使用unionByName按列名合并，自动匹配列
df_result = df1_updated.unionByName(df2_updated)

旧版本Spark兼容方案（低于2.3） #

如果你的Spark版本不支持unionByName，可以手动调整两个DataFrame的列顺序，确保完全一致后再用union：

# 定义目标结果的列顺序
target_columns = ["Location", "Date", "Date_part", "Sector", "Brands", "units", "values"]

# 对齐两个DataFrame的列顺序
df1_aligned = df1_updated.select(target_columns)
df2_aligned = df2_updated.select(target_columns)

# 执行合并
df_result = df1_aligned.union(df2_aligned)

验证结果 #

这样处理后，你得到的DataFrame就会完全符合你的期望：所有列都保留，值没有错位，df2的Date_part也统一填充为7/1/2021啦～

内容的提问来源于stack exchange，提问作者user175025