如何在Databricks中对Iceberg表执行Spark SQL MERGE语句

问题根因 #

你遇到的报错是Databricks Runtime的内置Delta规则优先级高于Iceberg扩展规则导致的。Databricks默认将MERGE语句优先交给Delta解析器处理，在Iceberg的规则生效前就会校验目标表是否为Delta表，非Delta表直接抛出不支持的错误，和你目前的问题表现完全一致。

可落地解决方案 #

方案1：升级Databricks Runtime（优先选择）

Databricks Runtime 11.3 LTS及以上版本官方已原生支持Iceberg的MERGE语句，只要正确配置Iceberg扩展即可直接执行，不需要额外调整规则，兼容性最好。

方案2：调整扩展加载顺序

如果必须保留当前7.6版本，可以修改集群的Spark配置，将Iceberg扩展放在Delta扩展之前加载，强制Iceberg规则优先生效：

spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,com.databricks.sql.transaction.tahoe.extensions.DeltaSparkSessionExtensions

修改后重启集群即可验证，部分低版本Runtime可能会强制注入Delta扩展，该方案存在一定概率不生效。

方案3：禁用Delta的MERGE预处理规则

通过Spark配置直接关闭Delta对MERGE语句的专属解析规则：

spark.sql.catalyst.analysis.disabledRules=com.databricks.sql.transaction.tahoe.PreprocessTableMergeEdge

该配置会跳过Delta的MERGE校验逻辑，让Iceberg扩展可以正常接管MERGE语句的解析执行。

方案4：用DataFrame API替代SQL实现

如果上述配置都不生效，可以将MERGE逻辑拆分为DataFrame的关联计算，再通过Iceberg的overwrite/append接口写入结果，实现和MERGE等价的逻辑。

额外注意事项 #

• 你当前使用的Spark 3.0.1仅支持Iceberg 0.11.x及更早版本，不要使用更高版本的Iceberg依赖，避免出现兼容性问题。
• Databricks 7.x版本对Iceberg的适配支持不完善，有条件建议尽量升级到更高版本的Runtime降低适配成本。

内容的提问来源于stack exchange，提问作者Aaron Kub