Azure ADF中忽略CSV文件名尾部日期的文件处理方案问询
最低侵入性实现ADF处理带日期后缀CSV文件的方案
针对你的场景,以下两种方案都能实现需求,且对现有架构的侵入性极低:
方案一:修改数据集使用通配符匹配(无需重命名文件)
这是侵入性最低的方案,仅需修改现有数据集的配置,完全不用改动已有的数据流和复制活动:
- 打开当前固定指向
Campus.csv的数据集编辑界面 - 在连接选项卡的「文件名」输入框,将固定值
Campus.csv替换为通配符表达式Campus*.csv - 保存数据集后,原有的数据流、复制数据活动会自动匹配所有符合
Campus*.csv格式的文件(带任意日期后缀的Campus文件) - 可选优化:如果需要仅处理最新日期的文件,可添加
Get Metadata活动获取容器内最新的Campus*.csv文件,再通过参数将文件名传递给数据集——这一步仅需在管道开头新增少量活动,核心处理逻辑仍无需修改
方案二:批量重命名Blob文件(复用现有固定数据集)
如果必须保留数据集指向Campus.csv的配置,可通过批量重命名实现,原有的数据流和复制活动无需修改:
- 在现有管道开头新增
Get Metadata活动,配置为获取Blob容器内所有Campus*.csv格式的文件列表(设置「字段列表」为childItems) - 添加For Each活动,遍历
Get Metadata返回的文件列表:- 在循环内添加Web活动(或Azure Function)调用Blob存储的重命名API,将当前文件(
@item().name)重命名为Campus.csv - 注意:重命名前需先检查容器内是否已有
Campus.csv,若有则先移动到归档文件夹避免覆盖
- 在循环内添加Web活动(或Azure Function)调用Blob存储的重命名API,将当前文件(
- 重命名完成后,原有的复制活动和数据流可直接使用固定数据集处理
Campus.csv - 可选:处理完成后,将
Campus.csv重命名回原带日期的文件名或归档,避免后续处理冲突
内容的提问来源于stack exchange,提问作者JasonB
相关产品推荐
相关产品推荐

