PySpark多列Join时，实现含NULL值的DataFrame匹配需求

要实现你需要的关联逻辑（ID、City匹配时，允许df2的Name为NULL进行匹配，同时正常场景下匹配Name），不能直接使用默认的等值关联，需要自定义关联条件来显式处理NULL的情况。

解决方案代码 #

from pyspark.sql.functions import col

# 构建自定义关联条件
join_condition = (
    df1["ID"] == df2["ID"]
) & (
    df1["City"] == df2["City"]
) & (
    (df1["Name"] == df2["Name"]) | df2["Name"].isNull()
)

# 执行内关联
df3 = df1.join(df2, join_condition, how="inner")
display(df3)

逻辑说明 #

这个关联条件的核心是分三层判断：

1. 强制匹配ID和City，保证基础关联的准确性
2. 对Name字段做弹性匹配：
   • 正常场景下，df1.Name和df2.Name完全相等时匹配
   • 当df2.Name为NULL时，直接忽略Name的匹配要求，只要ID和City匹配就关联

优化：避免列名冲突 #

如果需要避免两个DataFrame中重复列名（比如EMAIL）的冲突，可以在关联前给df2的列重命名：

# 给df2的重复列添加后缀
df2_renamed = df2.select(
    col("ID"),
    col("Name").alias("Name_df2"),
    col("City"),
    col("EMAIL").alias("EMAIL_df2")
)

# 使用重命名后的df2执行关联
df3 = df1.join(df2_renamed, join_condition, how="inner")
display(df3)

执行后会得到你期望的输出结果：

ID  Name    City    EMAIL           EMAIL_df2
1   John    City A  a@gmail.com     d@gmail.com
2   Mist    City B  b@gmail.com     e@gmail.com
3   Danny   City C  c@gmail.com     f@gmail.com

内容的提问来源于stack exchange，提问作者manoj kudari