如何使用ADF筛选复制指定日期的所有文件至目标Blob存储

前置说明 #

源存储单日生成多份按{业务标识}_{8位日期}_{序号}.csv规则命名的CSV转储文件，要实现指定日期对应文件精准同步到目标Blob存储，按以下步骤配置即可： #

1. 配置基础链接服务 #

• 在ADF管理页新建两个Azure Blob Storage类型链接服务，分别绑定源存储账号、目标存储账号，连通性验证通过后保存。

2. 配置参数化源数据集 #

• 新建CSV格式的源Blob数据集，绑定已创建的源存储链接服务。
• 为数据集新增两个参数：
  • sourceContainer：源文件所在的容器名称
  • matchDate：待同步的指定日期，格式为yyyy/MM/dd
• 数据集路径按通配符规则配置：
  • 容器项引用参数：@dataset().sourceContainer
  • 目录项留空（适用于文件存放在容器根目录的场景；如有固定子目录直接填写对应路径即可）
  • 文件名通配符填写：*_@{replace(dataset().matchDate,'/','')}_*.csv

该规则会自动将传入的带斜杠日期（如2022/06/29）转换为文件名里的8位日期格式（20220629），自动匹配所有文件名中段为目标日期的CSV文件，不会误匹配其他日期的文件。以指定2022/06/29为例，会自动识别到xyz_20220629_1.csv、xyz_20220629_2.csv、xyz_20220629_3.csv三个目标文件。

3. 配置目标数据集 #

• 新建CSV格式的目标Blob数据集，绑定已创建的目标存储链接服务。
• 为数据集新增参数targetContainer，填写目标存储的容器名称，路径配置为你需要的目标存储路径，文件名规则选择「保留源文件名」，避免自动重命名导致文件覆盖。

4. 搭建复制管道 #

• 新建空白管道，拖入「复制数据」活动。
• 进入复制活动的「源」配置页，选择之前创建的源数据集，传入源容器名，以及待同步的日期值：
  • 单次手动运行可以直接填写固定目标日期
  • 定期调度运行可以给管道加全局参数syncDate，调度触发时动态赋值为@formatDateTime(trigger().scheduledTime,'yyyy/MM/dd')，自动取调度日期作为同步日期
• 源端文件选择模式固定选「通配符文件路径」，不要选全目录遍历，减少无效文件扫描开销。
• 进入复制活动的「接收器」配置页，选择之前创建的目标数据集，传入目标容器名，复制行为选择「保留文件层次结构」，保证源文件完整同步到目标路径。

5. 验证上线 #

• 管道参数传入测试日期2022/06/29启动调试，在运行监控页确认源端读取文件列表仅包含3个20220629日期的目标文件，目标端写入的文件数量、内容校验无误后，即可发布管道正式运行。

补充调整：如果需要过滤特定业务前缀的文件，可以在源端配置里新增文件筛选规则，比如仅同步xyz前缀的文件，新增文件名前缀的startsWith判断条件即可；如果文件存放在多层嵌套子目录，在源数据集的目录通配符层补充对应*规则即可，不影响文件名日期匹配逻辑。

内容的提问来源于stack exchange，提问作者Gaurav Rawat