如何通过ADF复制任务带条件迁移Azure Cosmos DB数据

要实现你需要的条件同步逻辑，直接用复制活动满足不了，得通过ADF的**数据流（Data Flow）**来做数据过滤和判断，具体步骤如下：

1. 配置数据流的源与查找关联 #

• 在ADF中新建数据流，添加两个数据源：一个连接源Cosmos DB容器，一个通过**查找转换（Lookup）**连接目标Cosmos DB容器，关联字段选ID，这样能把源数据和目标端同ID的数据匹配起来。

2. 添加条件判断与数据筛选 #

• 用**派生列转换（Derived Column）**新增一个判断字段（比如ShouldSync），写入以下逻辑：

  iif(isNull(LookupOutput.ID), true, iif(SourceTimestamp > LookupOutput.TargetTimestamp, true, false))
  

  解释：如果目标端无匹配ID（Lookup结果为空），或者源时间戳比目标端新，标记为需要同步；其他情况标记为不需要。
• 接着用**筛选转换（Filter）**过滤出ShouldSync == true的数据，只保留符合条件的记录。

3. 写入目标容器 #

• 添加接收器转换（Sink）连接目标Cosmos DB容器，写入模式选择Upsert，并指定ID作为upsert的匹配键。这样符合条件的数据会自动执行插入（无ID时）或更新（有ID且时间戳更新时）操作。

4. 管道整合 #

• 在ADF管道中添加执行数据流活动（Execute Data Flow），调用上面配置好的数据流，即可完成整个条件同步流程。

注意事项 #

• 确保源和目标的时间戳字段类型一致（比如都是数值型时间戳或标准ISO字符串），避免比较逻辑出错。
• 若处理大数据量，可开启数据流的分区配置，提升同步性能。
• 验证Cosmos DB的访问权限，确保ADF有两端容器的读写权限。

内容的提问来源于stack exchange，提问作者Padmavathi Battu