Databricks中如何强制Delta表列值唯一？

问题背景 #

你已创建包含主键的Delta表，将table_name设为主键，但发现仍能插入重复table_name的行；尝试添加UNIQUE约束时，收到错误提示：

Only PRIMARY KEY and FOREIGN KEY constraints are currently supported

核心原因 #

Delta Lake当前仅支持PRIMARY KEY和FOREIGN KEY两种声明式约束，但默认情况下这些约束仅作为元数据描述，不会强制执行——这就是你设置主键后仍能插入重复值的根本原因。同时，UNIQUE约束目前确实未被Delta Lake支持。

解决方案 #

方案1：开启主键强制执行 #

主键本身就隐含“唯一+非空”的特性，只需开启Delta的主键强制执行开关，就能直接阻止重复table_name的插入：

对已存在的表开启：

ALTER TABLE test_table_pk SET TBLPROPERTIES (
  'delta.constraints.primaryKey.enabled' = 'true'
)

创建表时直接开启：

%sql
CREATE TABLE IF NOT EXISTS test_table_pk (
  table_name STRING NOT NULL,
  label STRING NOT NULL,
  table_location STRING NOT NULL,
  CONSTRAINT test_table_pk_col PRIMARY KEY(table_name)  
) USING DELTA
LOCATION "abfss://raw@Table_Path"
TBLPROPERTIES ('delta.constraints.primaryKey.enabled' = 'true')

开启后，再尝试插入重复table_name的行时，会直接报错并终止写入，确保table_name的唯一性。

方案2：用MERGE INTO实现自定义唯一逻辑 #

如果你的业务需要对重复值做特殊处理（比如仅当table_name不存在时插入，或更新现有行），可以使用MERGE INTO语句替代直接INSERT：

%sql
MERGE INTO test_table_pk AS target
USING (
  -- 这里是你要插入的数据集
  SELECT 'table_2' AS table_name, 'label_2' AS label, 'path_3' AS table_location
  UNION ALL
  SELECT 'table_3' AS table_name, 'label_3' AS label, 'path_3' AS table_location
) AS source
ON target.table_name = source.table_name
WHEN NOT MATCHED THEN
  INSERT (table_name, label, table_location)
  VALUES (source.table_name, source.label, source.table_location)
-- 可选：如果需要更新现有行，添加下面的语句
-- WHEN MATCHED THEN
--  UPDATE SET label = source.label, table_location = source.table_location

这种方式可以灵活控制重复值的处理逻辑，既保证table_name的唯一性，又满足业务的特殊需求。

方案3：自定义写入校验逻辑 #

如果上述方案都不满足需求，你可以在数据写入前通过Spark代码手动校验table_name的唯一性：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# 待插入的数据
new_data = spark.createDataFrame([
    ('table_2', 'label_2', 'path_2'),
    ('table_2', 'label_2', 'path_3')
], schema=['table_name', 'label', 'table_location'])

# 获取现有表中的table_name
existing_names = spark.table("test_table_pk").select("table_name").distinct()

# 过滤出不存在的记录
valid_data = new_data.join(existing_names, on="table_name", how="left_anti")

# 写入有效数据
valid_data.write.mode("append").saveAsTable("test_table_pk")

这种方式完全自定义校验逻辑，但会增加代码复杂度，适合特殊场景。

注意事项 #

• 开启主键强制执行会带来一定的性能开销，需根据业务吞吐量权衡使用。
• 强制执行仅对开启后的写入生效，开启前已存在的重复主键数据需要手动清理。

内容的提问来源于stack exchange，提问作者Mohammad