PySpark合并DataFrame时如何避免重复name列，实现全外连接需求？

问题原因 #

你当前使用df1['name'] == df2['name']作为连接条件时，Spark会将两个DataFrame中的name列视为独立列，因此结果中会保留两个name列，不符合预期。

解决方案 #

方法1：直接指定连接列名（推荐） #

使用on='name'参数指定连接列，Spark会自动合并同名列，仅保留一个name列，代码简洁高效：

joined_df = df1.join(df2, on='name', how='outer')

执行后即可得到期望结果：

name count_1 count_2
a    3       3
b    4       4
c    3       null
d    null    8

方法2：合并重复列（适用于列名不同的场景） #

如果因业务需求必须使用列对象比较的方式连接，可通过coalesce函数合并两个name列（取非空值），再删除原重复列：

from pyspark.sql.functions import coalesce

joined_df = df1.join(df2, df1['name'] == df2['name'], "outer") \
    .withColumn('name', coalesce(df1['name'], df2['name'])) \
    .drop(df1['name'], df2['name'])

内容的提问来源于stack exchange，提问作者Joe