如何在Azure Data Factory中无需循环批量筛选复制Blob文件

完全可以通过Azure Data Factory（ADF）的Copy Activity一次完成筛选与复制，无需循环或依赖Get Metadata获取全量文件列表（避免输出超限问题），核心是利用Blob存储的服务端筛选能力结合ADF的文件匹配规则。

具体实现步骤 #

• 配置源数据集：选择Azure Blob Storage类型，指定目标容器，无需设置子文件夹路径。
• 设置Copy Activity源筛选规则：
  1. 前缀过滤缩小范围：在源选项中设置前缀为Energy_指定ReportName_（替换为实际的ReportName），直接过滤掉所有不符合开头格式的文件，大幅减少待处理文件基数。
  2. 正则表达式匹配时间区间：启用文件名筛选的正则表达式模式，根据Timestamp的格式编写匹配StartDate至EndDate区间的规则。
     • 示例：若Timestamp为YYYYMMDD格式，StartDate=20240101、EndDate=20240131，正则表达式可写为：

       Energy_指定ReportName_(202401(0[1-9]|[12][0-9]|3[01]))_.*\.zip
       

     • 若需动态适配不同日期参数，可通过ADF管道参数（如@pipeline().parameters.StartDate、@pipeline().parameters.EndDate）拼接生成正则表达式，灵活性更高。
• 目标端配置：指定目标Blob容器，保持与源一致的文件结构（或按需调整）即可。

性能优化要点 #

• 开启并行复制：在Copy Activity的"设置"面板中调整并行度（最高支持100），利用ADF的多线程处理能力提升复制速度。
• 选择批量复制模式：ADF会自动将符合条件的文件分块处理，避免单线程瓶颈，适配千万级文件规模。
• 确保源与目标Blob存储处于同一Azure区域，消除跨区域传输延迟。

关键优势 #

这种方式无需加载全量文件列表到ADF内存，完全依托Blob存储的服务端筛选逻辑，既规避了Get Metadata的输出超限问题，又能高效完成千万级文件的批量复制，全程仅需一次管道运行。

内容的提问来源于stack exchange，提问作者Mohammad