Azure Data Factory复制活动异常处理：如何跳过失败行继续执行？

你遇到的问题是复制活动的默认容错机制无法覆盖更新场景下的行级错误，导致单条/批次失败就终止整个管道。以下是几个可行的解决方案：

1. 小批次拆分+Try-Catch循环处理 #

• 原理：将源数据拆分为极小批次（甚至单条），通过For Each循环逐个处理，用Try-Catch容器捕获单个批次的错误，避免影响整体执行。
• 步骤：
  1. 用Lookup活动获取需要更新的所有数据主键（或行标识）列表。
  2. 配置For Each循环，遍历每个主键（或每5-10条为一个批次）。
  3. 循环内部嵌套Try-Catch容器：
     • Try块：执行复制活动，仅处理当前批次的行（通过筛选条件定位到对应数据）。
     • Catch块：将失败批次的标识、错误信息记录到错误日志存储（比如SQL表、Blob存储的CSV文件），便于后续排查重试。
• 优势：完全可控，能精准隔离失败行，不中断整体管道。

2. 用Azure函数自定义更新逻辑 #

• 原理：把Azure表存储的更新逻辑迁移到Azure函数中，由函数负责行级错误捕获，ADF仅负责触发和传递数据。
• 步骤：
  1. 创建Azure函数，使用Azure Tables SDK（如Azure.Data.Tables）实现单条/小批量数据更新，内部加入try-catch块捕获行级错误。
  2. 在ADF中用Azure Function活动，将需要更新的数据传递给函数（可通过批量参数或Blob存储路径传递）。
  3. 函数处理时，将失败行的详细信息写入错误日志，返回成功/失败统计结果给ADF。
• 优势：自定义逻辑灵活，能处理复制活动无法覆盖的复杂更新场景（比如自定义冲突处理规则）。

3. 改用ADF数据流（Data Flow）替代复制活动 #

• 原理：数据流的错误输出机制支持将失败行路由到独立存储，不中断正常数据处理。
• 步骤：
  1. 创建映射数据流，源连接你的数据源，Sink连接Azure表存储，设置更新/Upsert模式。
  2. 在Sink的错误处理设置中，选择「路由到错误输出」。
  3. 将错误输出连接到另一个Sink（比如Blob存储），用于存储失败行及错误原因。
• 优势：无代码配置，适合结构化数据的批量更新场景，自动分流失败行，无需手动拆分批次。

补充说明 #

复制活动自带的容错选项主要针对数据读取阶段的错误（比如源数据缺失、格式错误），或部分写入场景的批量错误，但对于更新操作中的行级冲突（如主键重复）、数据类型不匹配等问题，无法做到行级隔离，因此需要上述方案来实现优雅容错。

内容的提问来源于stack exchange，提问作者Harshal Shree