Azure Data Factory复制数据Upsert仅逐行更新性能问题求助

针对你遇到的Copy Data活动UPSERT逐行处理导致的性能问题，以下是无需预先指定所有列的优化方案：

方案一：自定义临时表批量UPSERT逻辑 #

放弃Copy Data自带的UPSERT功能，改用批量MERGE逻辑实现动态列处理：

• 第一步：用Copy Data活动将增量数据写入自定义临时表（而非ADF自动创建的带BatchIdentifier的临时表），确保此处批量写入配置（Write batch size）生效。
• 第二步：通过Lookup活动动态获取目标表的全量列名，执行SQL语句：

  SELECT STRING_AGG(COLUMN_NAME, ', ') AS column_list
  FROM INFORMATION_SCHEMA.COLUMNS
  WHERE TABLE_NAME = '目标表名' 
    AND TABLE_SCHEMA = '目标架构名'
    AND COLUMN_NAME NOT IN ('需排除的列（如自增ID）')
  

  将返回的column_list作为变量存储，用于后续动态生成MERGE语句。
• 第三步：用Script活动或Stored Procedure活动执行动态MERGE语句，示例模板：

  MERGE INTO 目标架构名.目标表名 AS target
  USING 临时架构名.临时表名 AS source
  ON target.主键列 = source.主键列
  WHEN MATCHED THEN 
    UPDATE SET {动态列列表}
  WHEN NOT MATCHED THEN
    INSERT ({动态列列表})
    VALUES ({动态列列表});
  DROP TABLE 临时架构名.临时表名;
  

  这里的{动态列列表}直接替换为Lookup获取的列字符串即可，无需手动枚举所有列。

方案二：使用Synapse Data Flow替代Copy Data活动 #

Data Flow基于Spark引擎实现批量处理，原生支持动态列映射与高性能UPSERT：

• 在Data Flow中，源端配置增量数据读取逻辑，Sink端选择目标表并设置写入行为为Upsert，指定主键列。
• 开启Sink的Auto Map功能（或使用规则映射），自动匹配源和目标的列，无需手动指定所有列。
• 在Sink设置中调整Batch size（如设为100000），开启Bulk insert模式，确保批量写入而非逐行处理。

方案三：调整Copy Data活动Sink配置（有限生效） #

若坚持使用Copy Data活动，可尝试以下配置调整：

• 确保Sink的Upsert key仅设置目标表的主键列，避免包含额外列。
• 开启Sink的Use bulk insert API选项（针对SQL Server/Synapse SQL目标），强制使用批量写入逻辑。
• 同时调整writeBatchSize和batchThreshold参数，例如将writeBatchSize设为50000，batchThreshold设为100000，触发批量处理阈值。

内容的提问来源于stack exchange，提问作者Matt Evans