Databricks Delta表UPDATE触发非确定性表达式错误的原因与解决

核心原因是Spark 3.3.2（对应Databricks Runtime 12.2）在解析UPDATE语句中引用全局临时视图的EXISTS关联子查询时，存在优化器逻辑缺陷——错误地将全局临时视图的扫描操作标记为非确定性表达式，而UPDATE语句的SET/WHERE子句（除Filter节点外）不允许非确定性表达式，从而触发报错。

你已经注释了CURRENT_TIMESTAMP()这类显式非确定性函数，但问题根源在于Spark优化器对全局临时视图的解析逻辑：全局临时视图存储在spark_catalog.global_temp命名空间下，优化器在处理UPDATE的关联子查询时，会错误地将视图的数据源访问逻辑判定为非确定性，这是该版本的已知兼容性问题。

关键验证点 #

• 你尝试的调整（注释时间函数、移动筛选条件、添加别名）无法解决问题，因为问题不在语句语法或显式非确定性函数，而在于优化器对全局临时视图的归类错误；
• DELETE操作出现类似问题，也是因为相同的优化器逻辑——DELETE的WHERE子句引用全局临时视图的关联子查询时，同样会被误判为非确定性。

为什么MERGE语句可以正常执行？ #

MERGE语句的执行计划逻辑与UPDATE/DELETE不同：Spark对MERGE的子查询解析规则更为宽松，其关联逻辑被归类为合法的Filter/Aggregate操作范畴，不会触发非确定性表达式的校验限制，因此可以正常处理全局临时视图的引用。

额外替代方案（除MERGE外） #

• 将全局临时视图转为普通临时视图（使用CREATE TEMP VIEW而非CREATE GLOBAL TEMP VIEW），再执行UPDATE/DELETE；
• 将视图数据写入临时Delta表，通过关联该临时表而非视图来完成更新操作。

内容的提问来源于stack exchange，提问作者rainingdistros