使用ADF Lookup和Foreach循环Cosmos DB文档遇阻求助

针对你遇到的ADF Lookup上限5000条、Cosmos DB跨分区不支持OFFSET/LIMIT的问题，以下是几个可行的解决方案：

方案1：利用ADF Lookup的延续标记（Continuation Token）循环分页 #

这是适配原有Lookup+Foreach逻辑的最优方案，无需额外字段，自动处理跨分区分页：

1. 初始化管道变量：
   • 创建字符串变量 continuationToken，初始值为空
   • 创建布尔变量 hasMoreData，初始值设为 true
2. 添加Until循环活动：设置循环终止条件为 @variables('hasMoreData')
3. 循环内配置Lookup活动：
   • 数据源选择源Cosmos DB容器，查询语句用 SELECT * FROM c（需过滤可加WHERE子句）
   • 进入高级设置，勾选「启用分页」，将「延续标记」绑定为 @variables('continuationToken')
   • 「每页行数」设为5000（Lookup活动的上限值）
4. 更新延续标记与循环状态：
   • 添加Set Variable活动，将 continuationToken 赋值为 @activity('<Lookup活动名称>').output.continuationToken
   • 添加另一个Set Variable活动，将 hasMoreData 赋值为 @not(empty(activity('<Lookup活动名称>').output.continuationToken))
5. 处理当前页文档：添加Foreach活动，迭代项绑定为 @activity('<Lookup活动名称>').output.value，内部写入处理逻辑（如插入目标Cosmos容器）

方案2：使用Cosmos DB Change Feed实现全量迁移 #

如果仅需全量迁移+后续增量同步，Change Feed是更省心的选择：

1. ADF中添加复制活动：
   • 数据源选择源Cosmos DB容器，在「源设置」里切换为「Change Feed」模式
   • 设置「起始时间」为源容器创建时间之前（确保拉取所有历史文档）
   • 目标端选择目标Cosmos DB容器，按需配置映射规则
2. 该模式自动处理跨分区分页，无需手动管理分页标记，ADF会持续拉取所有文档直至完成

方案3：Azure Function自定义迁移逻辑（适合复杂处理场景） #

如果需要更灵活的逐个文档处理逻辑，可借助Cosmos DB SDK实现：

1. 编写Azure Function：
   • 使用Cosmos DB SDK的 FeedIterator 遍历源容器，自动处理跨分区和延续标记
   • 对每个文档执行自定义处理后，写入目标容器
2. ADF触发执行：通过Web活动调用该Function，或直接独立运行Function完成迁移

补充说明 #

Cosmos DB跨分区查询不支持OFFSET/LIMIT是设计限制，本质是因为跨分区时无法高效计算偏移量，而延续标记（Continuation Token）是官方推荐的分页方式，它记录了当前查询的位置，确保分页的一致性和性能。

内容的提问来源于stack exchange，提问作者abdul kalam