Azure Data Factory 基于大体积CSV批量复制Blob存储文件方案

Lookup活动单活动返回5000行是产品硬限制，无法通过配置调整放宽，下面三个方案都可以绕开这个限制，按需选择即可：

方案1：映射数据流缓存输出（无代码，最推荐） #

这个方案不需要额外服务，也不用改现有CSV的存储位置，是生产环境验证过的稳定方式：

• 新建映射数据流，源直接配置为存Source/Destination映射的Blob CSV文件，开启第一行作为表头，不需要加任何转换逻辑。
• 给数据流加缓存接收器，开启将输出写入活动结果，不需要配置外部存储落点。
• 回到管道画布，依次添加「执行数据流活动」、「ForEach活动」：
  • 执行数据流活动绑定刚建好的映射数据流
  • ForEach的Items参数直接填@activity('执行数据流活动的自定义名称').output.cacheSink.value，这个输出没有行数限制，实测单批跑3万+行路径映射无压力
  • ForEach内部按需求配置活动：如果是复制操作，直接加Copy活动，源和汇都用参数化的Blob数据集，分别绑定@item().Source和@item().Destination即可；如果是移动操作，就在Copy活动成功后追加Delete活动删除源路径Blob即可。
• 调优：ForEach可以开并发，并发数设20~30就够，太高容易触发Blob存储请求限流。

方案2：分页Lookup（无数据流启动延迟，适合小体量批次） #

如果你不想用映射数据流（数据流有1~2分钟的集群冷启动时间），可以用分页逻辑把单次Lookup的返回行数压到5000以内：

• 先把存路径映射的CSV映射为支持SQL分页查询的源：最省事的做法是把CSV导入Azure SQL DB建一张轻量控制表，或者直接给Blob存储配置Serverless SQL外部表指向这个CSV。
• 管道初始化3个变量：offset = 0（分页偏移量）、pageSize = 2000（单页读取行数，远低于5000上限）、loopEnd = false（循环终止标记）。
• 加Until活动，循环终止条件设为@equals(variables('loopEnd'), true)，循环内部逻辑：
  • 加Lookup活动，查询语句写SELECT Source, Destination FROM 你的映射表 ORDER BY 自增ID OFFSET @variables('offset') ROWS FETCH NEXT @variables('pageSize') ROWS ONLY
  • 加ForEach活动遍历本次Lookup返回的2000行数据，内部的复制/删除逻辑和方案1一致
  • 加Set Variable活动把offset的值加2000，同时判断如果本次Lookup返回的行数小于2000，就把loopEnd设为true终止循环。
• 这个方案哪怕有几十万行映射关系都能跑，因为单次Lookup永远不会触发5000行的限制。

方案3：脚本批量执行（适合有脚本开发能力的场景） #

如果你不想配复杂的ADF活动逻辑，可以直接用脚本搞定：

• 管道里加Azure Function活动或者批量脚本活动，脚本逻辑直接读取整个CSV文件，循环调用Blob存储的复制/删除接口完成操作即可。
• 这个方案完全没有行数限制，缺点是需要自己写少量代码做异常处理。

踩坑提醒 #

• 配置Blob数据集的时候一定要把容器名、文件路径都设为数据集参数，传值的时候注意把路径里的容器名和Blob相对路径做拆分，比如示例路径test_container/test.txt要拆成容器名test_container、Blob路径test.txt传入，不然会报路径不存在错误。
• 做移动操作的时候，一定要加判断逻辑：确认Copy活动执行成功后再删除源文件，避免数据丢失。
• 不要尝试找配置项或者提工单调高Lookup的5000行上限，这个是产品层面的硬编码限制，没有开放调整入口。

内容的提问来源于stack exchange，提问作者adan11