如何在PySpark中用另一DataFrame的值更新目标DataFrame字段？

首先明确：PySpark的DataFrame是不可变的，不能直接执行传统SQL的UPDATE语句修改原DataFrame，必须通过转换生成新的DataFrame来实现需求。

方法一：使用PySpark API实现 #

核心思路是将两个DataFrame按ID关联，用coalesce函数优先保留DF1的VAL2值，若为空则替换为DF2的VAL1，最后还原DF1的字段结构。

示例代码：

from pyspark.sql import functions as F

# 假设DF1和DF2已创建完成
result_df = DF1.join(
    DF2.select("ID", "VAL1").withColumnRenamed("VAL1", "DF2_VAL1"),
    on="ID",
    how="left"
).withColumn(
    "VAL2", F.coalesce(F.col("VAL2"), F.col("DF2_VAL1"))
).drop("DF2_VAL1")  # 移除临时关联字段

result_df.show()

执行后输出结果：

+---+----+----+
| ID|VAL1|VAL2|
+---+----+----+
|  1|   z|   a|
|  2|   b|   e|
+---+----+----+

方法二：使用Spark SQL实现 #

若偏好SQL语法，可先将DataFrame注册为临时视图，通过SELECT结合coalesce生成结果（而非直接UPDATE）：

示例代码：

# 注册临时视图
DF1.createOrReplaceTempView("df1")
DF2.createOrReplaceTempView("df2")

# 执行SQL查询生成结果
result_df = spark.sql("""
    SELECT 
        df1.ID,
        df1.VAL1,
        COALESCE(df1.VAL2, df2.VAL1) AS VAL2
    FROM df1
    LEFT JOIN df2 ON df1.ID = df2.ID
""")

result_df.show()

原UPDATE语句报错原因 #

Spark SQL的UPDATE语法仅支持修改Delta Lake表（非临时视图或普通DataFrame），且语法格式与你写的传统SQL不同。对于普通DataFrame，因不可变性限制，无法直接原地修改，必须通过上述转换方式生成新的DataFrame。

内容的提问来源于stack exchange，提问作者Nicklovn