Azure Data Factory复制活动如何获取目标生成的新建记录ID？

针对你在ADF中复制SQL Server数据到REST端点后，需要获取目标生成的唯一ID并调用Webhook的场景，以下是几种可行的解决方案：

方案1：捕获REST端点的批量插入响应（最优解） #

如果目标REST端点支持批量插入时返回每条记录的生成ID：

• 在ADF的REST Sink配置中，启用响应捕获功能（具体位置在Sink的"Settings"或"Advanced"标签下，根据ADF版本可能略有不同）。
• 复制活动执行完成后，通过表达式提取输出中的响应数据，例如：

  @activity('你的复制活动名称').output.response
  

  该响应会包含本次插入所有记录的目标ID列表，直接将此列表传递给后续的Webhook活动即可。
• 注意：如果端点是逐行插入，响应会是一个包含每条结果的数组；如果是批量提交，需要端点本身支持返回批量生成的ID集合。

方案2：添加临时追踪标识匹配 #

如果端点不返回ID，可在源数据中注入临时唯一标识：

• 修改SQL Server的源查询，新增一个临时追踪字段，比如用GUID生成唯一标记：

  SELECT *, NEWID() AS TempTrackingId FROM YourSourceTable WHERE [你的过滤条件]
  

• 确保目标REST端点能够接收并存储这个TempTrackingId字段（无需长期保留，仅作为临时匹配依据）。
• 复制完成后，调用目标端的查询接口，传入本次的TempTrackingId值，筛选出对应的记录并提取目标ID。
• 完成后可根据需求调用目标接口删除这些临时字段，或保留一段时间用于排查。

方案3：利用时间范围筛选（低并发场景适用） #

如果无法添加追踪字段，可依赖时间戳进行筛选：

• 修改源查询，添加当前批次的插入时间：

  SELECT *, GETDATE() AS BatchInsertTime FROM YourSourceTable WHERE [你的过滤条件]
  

• 确保目标端存储BatchInsertTime字段，并支持按时间范围查询。
• 复制完成后，调用目标查询接口，传入复制活动的开始和结束时间（可通过@activity('你的复制活动名称').startTime和@activity('你的复制活动名称').endTime获取），筛选出该时间段内的新建记录。
• 局限性：高并发场景下可能混入其他批次的插入记录，仅适合低流量环境。

方案4：通过Azure Function中转处理 #

如果目标端点完全不支持上述两种方式，可引入Azure Function作为中间层：

• 配置ADF复制活动将数据发送到Azure Function，而非直接到目标REST端点。
• 在Azure Function中，逐条调用目标端点插入数据，同时捕获每条返回的目标ID并收集。
• 批量插入完成后，Azure Function将收集到的ID列表返回给ADF。
• ADF接收ID列表后，传递给后续的Webhook活动完成调用。

内容的提问来源于stack exchange，提问作者Dmitriy Ryabin