ADF自动建表已启用却报“对象已存在”错误排查请求

问题本质 #

这是并行执行引发的竞态条件：尽管管道在复制前已删除着陆架构下的所有表，但多个并行运行的复制活动会同时检测目标表是否存在。当它们同时判定表不存在时，会各自发起建表请求，最终只有一个请求能成功创建表，其余请求就会抛出SqlErrorNumber=2714（对象已存在）的错误。每日失败的CSV文件不同，是因为每次并行执行时，竞争建表的活动随机不同；重新运行时，表已存在，复制活动直接写入数据，因此能正常执行。

解决方案 #

• 串行执行替代并行
  关闭复制活动的并行设置，改为串行处理。此方法能彻底避免竞态冲突，适合表数量较少、对性能要求不高的场景。

• 添加同步锁机制
  在删除表的步骤后、复制活动前，通过SQL存储过程实现表级同步锁，确保同一时间只有一个复制活动能执行建表操作：

  1. 创建同步辅助表：

  CREATE TABLE ADF_Sync_Lock (
      LockName NVARCHAR(100) PRIMARY KEY,
      IsLocked BIT DEFAULT 0
  )
  

  2. 获取锁的存储过程：

  CREATE PROCEDURE AcquireSyncLock
  @LockName NVARCHAR(100)
  AS
  BEGIN
      SET NOCOUNT ON;
      -- 循环等待直到锁释放
      WHILE EXISTS(SELECT 1 FROM ADF_Sync_Lock WHERE LockName = @LockName AND IsLocked = 1)
      BEGIN
          WAITFOR DELAY '00:00:01';
      END
      -- 获取锁，不存在则插入新记录
      UPDATE ADF_Sync_Lock SET IsLocked = 1 WHERE LockName = @LockName;
      IF @@ROWCOUNT = 0
      BEGIN
          INSERT INTO ADF_Sync_Lock (LockName, IsLocked) VALUES (@LockName, 1);
      END
  END
  

  3. 释放锁的存储过程：

  CREATE PROCEDURE ReleaseSyncLock
  @LockName NVARCHAR(100)
  AS
  BEGIN
      SET NOCOUNT ON;
      UPDATE ADF_Sync_Lock SET IsLocked = 0 WHERE LockName = @LockName;
  END
  

  在每个复制活动前调用AcquireSyncLock（传入目标表名作为锁名称），复制完成后调用ReleaseSyncLock。

• 提前预创建所有目标表
  禁用自动建表功能，改为在管道起始步骤预创建所有目标表：

  1. 使用Get Metadata活动遍历所有CSV文件，获取每个文件的Schema信息；
  2. 动态生成建表SQL语句，通过Execute SQL活动批量创建表；
  3. 再执行并行复制活动，此时复制活动仅负责写入数据，不会触发建表操作。

• 针对特定错误添加重试策略
  在复制活动的“重试”设置中，添加自定义重试条件：

  • 条件：@activity('Copy files to SQL Db').error.errorCode == 'SqlOperationFailed' && @activity('Copy files to SQL Db').error.details[0].sqlErrorNumber == 2714
  • 重试次数设置为2-3次，重试间隔1-2秒。第一次失败后表已创建，重试时会直接写入数据，无需再建表。

内容的提问来源于stack exchange，提问作者Swati Vishwanathan