如何在ADF中为Azure SQL数据库动态实现Upsert操作

一、动态获取键列的方法 #

在你现有的ForEach循环流程里，针对每个从Lookup活动拿到的表，新增一个Lookup活动来查询该表的主键/唯一键信息，具体SQL可根据你使用的数据库类型调整：

分数据库示例SQL #

• MySQL/MariaDB：

select column_name 
from information_schema.key_column_usage 
where table_schema = '@{item().table_schema}' 
  and table_name = '@{item().table_name}' 
  and constraint_name = 'PRIMARY'

• SQL Server：

select c.name as column_name 
from sys.key_constraints kc 
join sys.columns c on kc.parent_object_id = c.object_id 
                  and kc.unique_index_id = c.column_id 
where kc.type = 'PK' 
  and OBJECT_SCHEMA_NAME(kc.parent_object_id) = '@{item().table_schema}' 
  and OBJECT_NAME(kc.parent_object_id) = '@{item().table_name}'

• PostgreSQL：

select col.column_name
from information_schema.table_constraints tc
join information_schema.constraint_column_usage ccu 
  on tc.constraint_name = ccu.constraint_name
join information_schema.columns col 
  on ccu.table_schema = col.table_schema 
  and ccu.table_name = col.table_name 
  and ccu.column_name = col.column_name
where tc.table_schema = '@{item().table_schema}'
  and tc.table_name = '@{item().table_name}'
  and tc.constraint_type = 'PRIMARY KEY'

获取结果后，用表达式将列名列表转换为复制活动Sink所需的格式：比如用join('@{activity("Lookup_Key_Columns").output.value}', ',')拼接成逗号分隔的字符串，或者直接传递数组给Sink的键列参数。

二、适合作为键列的选项 #

优先级从高到低：

• 主键列：数据库原生定义的主键是最优选择，它自带非空、唯一约束，完全满足Upsert的行匹配需求。
• 唯一约束列/组合列：如果表没有主键，带UNIQUE约束的单列或多列组合也可行，同样能保证行的唯一性。
• 业务唯一标识列/组合：如果前两者都没有，就选业务逻辑上能唯一标识一行的列（比如订单表的order_no，用户表的phone + id_card组合），必须确保这些列的取值不会重复。

三、关于键列的唯一性要求 #

是的，键列必须能唯一标识每一行。Upsert的核心逻辑是通过键列匹配源和目标行，匹配到则更新，未匹配到则插入。如果键列存在重复值，会导致匹配到多行目标行，直接引发报错（多数数据库不允许这种模糊匹配），或者出现更新逻辑混乱的情况。所以不管是单键还是组合键，唯一性是硬性要求。

内容的提问来源于stack exchange，提问作者BlakeB9