Databricks Unity Catalog中Delta表能否强制主键与外键约束？

核心结论 #

截至当前版本，Databricks Unity Catalog中的Delta表仅支持**信息性（informational）**的主键与外键约束，不会对写入操作进行强制校验。这就是你遇到问题的原因：定义的约束只会被记录在元数据中，不会拦截重复主键插入、无效外键值写入等操作。

替代方案：实现强制数据一致性校验 #

如果需要确保主键唯一性和外键引用有效性，需要通过自定义逻辑实现：

1. 主键唯一性校验

   • 在写入数据前，先执行查询检查待插入数据是否存在主键重复：

     -- 检查待插入数据是否有重复主键
     SELECT pk_col, COUNT(*)
     FROM incoming_data
     GROUP BY pk_col
     HAVING COUNT(*) > 1;
     

   • 或者使用Delta Lake的MERGE操作替代直接插入，利用WHEN NOT MATCHED逻辑避免重复主键写入：

     MERGE INTO target_table t
     USING incoming_data i
     ON t.pk_col = i.pk_col
     WHEN NOT MATCHED THEN INSERT *;
     

2. 外键引用有效性校验

   • 在写入子表数据时，通过关联父表过滤掉无效的外键值：

     INSERT INTO child_table
     SELECT c.*
     FROM incoming_data c
     INNER JOIN parent_table p 
     ON c.fk_col = p.pk_col;
     

   • 也可以先检查待插入数据中是否存在未被父表包含的外键值，存在则终止写入并抛出异常：

     SELECT DISTINCT c.fk_col
     FROM incoming_data c
     LEFT JOIN parent_table p ON c.fk_col = p.pk_col
     WHERE p.pk_col IS NULL;
     

补充说明 #

Unity Catalog中的信息性约束主要用于：

• 帮助BI工具、数据目录识别表之间的关系，提升数据可发现性
• 作为元数据文档，明确表的设计意图
• 支持部分下游工具的关系型数据操作适配

内容的提问来源于stack exchange，提问作者dsavdb