Azure Data Factory：多表动态创建Upsert键列及Foreach Copy Upsert用法

核心原则 #

Upsert的键列必须满足唯一标识单条记录的要求，避免匹配时出现歧义，以下是针对不同场景的落地方案：

1. 基于现有字段组合构建复合键 #

如果表中已有能唯一标识记录的字段组合，直接将其作为Upsert匹配键：

• 订单类表：可组合订单编号+用户ID作为键
• 商品类表：直接用本身唯一的商品SKU作为单字段键
• 执行Upsert时，需先为这些字段组合创建唯一索引，再用对应语法实现：

  -- MySQL示例
  INSERT INTO 目标表(字段1, 字段2, ...)
  VALUES(值1, 值2, ...)
  ON DUPLICATE KEY UPDATE 字段1=值1, 字段2=值2;
  

2. 新增独立唯一键列 #

若现有字段无法组合出唯一标识，可新增专属键列：

• 自增主键：适合无业务含义的唯一标识，需确保Upsert时能获取对应主键值
• UUID/GUID：适配分布式场景，生成全局唯一值，示例语句：

  -- MySQL新增UUID键列
  ALTER TABLE 目标表 ADD COLUMN upsert_key VARCHAR(36) DEFAULT UUID() UNIQUE;
  -- PostgreSQL新增UUID键列
  ALTER TABLE 目标表 ADD COLUMN upsert_key UUID DEFAULT gen_random_uuid() UNIQUE;
  

• 业务编码键：按业务规则生成（如时间戳+随机数+业务标识），确保全局唯一

3. 支持动态匹配的键列设计 #

如果需要根据不同场景切换匹配键：

• 预留动态匹配键字段，存储按当前规则拼接的唯一字符串（如不同场景拼接不同字段组合）
• 建立键映射表，记录每张表当前使用的键字段组合，Upsert时读取映射表生成动态匹配条件

注意：所有方案都必须保证键列的唯一性，否则Upsert会出现数据覆盖错误。

内容的提问来源于stack exchange，提问作者Shiraz Hussain