PySpark中能否用Update替代Merge从DataFrame更新Delta Table？

答案是可以，但不能直接用DeltaTable Python API的update方法，而是通过Spark SQL的UPDATE语句结合FROM子句来实现，具体说明如下：

核心限制说明 #

DeltaTable提供的Python API update()方法，只能基于目标表自身的字段设置更新条件，没办法直接关联外部表（比如people表）获取更新值。但Spark SQL的UPDATE语法支持通过FROM子句关联其他表，而Delta Lake完全兼容Spark SQL的DML操作，这就给了我们替代merge的可行方案。

具体实现示例 #

直接在PySpark中执行Spark SQL语句即可，逻辑和你熟悉的SQL关联更新几乎一致：

UPDATE scores s
SET s.name = p.name
FROM people p
WHERE s.personId = p.id

在PySpark代码中可以这样调用：

spark.sql("""
    UPDATE scores s
    SET s.name = p.name
    FROM people p
    WHERE s.personId = p.id
""")

为什么这个方案比Merge更高效？ #

正如你提到的，Merge操作需要处理"匹配则更新、不匹配则插入"的完整逻辑，内部会执行更多关联和判断步骤。而如果你的场景只是单纯更新已有数据（不需要插入新记录），用Spark SQL的UPDATE+FROM方式，只会执行必要的关联和更新操作，避免了Merge的额外开销，性能更优。

注意事项 #

• 确保目标表（scores）的关联字段（比如personId）是唯一键或主键，避免一条记录被多次更新导致结果异常。
• 这种方式仅适用于只更新已有数据的场景，如果需要同时处理插入新数据，还是得用Merge。

内容的提问来源于stack exchange，提问作者Tarek Salha