如何用PySpark DataFrame df2的值替换df1对应ID的字段值

我有两个PySpark DataFrame：df2和df1，需要以ID作为主键，用df2中的对应值替换df1里匹配ID的字段值，同时保留df1中无匹配ID的行数据。

df2数据如下：

df1数据如下：

预期结果：

可通过左连接两个DataFrame，结合coalesce函数实现需求，代码如下：

from pyspark.sql import functions as F

# 左连接df1和df2，以ID作为关联键
joined_df = df1.join(df2, on="ID", how="left")

# 构造结果DataFrame：优先取df2的字段值，无匹配则保留df1原数据
result_df = joined_df.select(
    "ID",
    F.coalesce(df2.Total_Count, df1.Total_Count).alias("Total_Count"),
    F.coalesce(df2.Final_A, df1.A).alias("A"),
    F.coalesce(df2.Final_B, df1.B).alias("B"),
    F.coalesce(df2.Final_C, df1.C).alias("C"),
    F.coalesce(df2.Final_D, df1.D).alias("D")
)

# 输出结果
result_df.show()

关键逻辑说明 #

1. 左连接：how="left"确保df1的所有行都被保留，包括ID在df2中不存在的记录（如ID=10）。
2. coalesce函数：返回参数中第一个非空值，这里实现了“有匹配则用df2的值，无匹配则保留df1原值”的逻辑。
3. 字段别名：将合并后的字段重命名为df1原有字段名，保证结果结构符合预期。

内容的提问来源于stack exchange，提问作者Scope