Azure Data Factory创建指定文件名模式的CSV数据集及相关配置

一、创建目标CSV数据集 #

• 新建CSV数据集，关联目标Blob存储账户和容器
• 在数据集的连接配置里，设置文件名规则为file_name_*.csv——这样会自动匹配所有以file_name_开头的CSV文件，因容器内仅存在一个符合规则的文件，无需处理多文件冲突

二、提取并校验文件元数据 #

1. 在管道中添加Get Metadata活动，数据源绑定前面创建的CSV数据集
2. 在活动的字段设置中，勾选需要提取的元数据（比如文件名、创建时间、文件大小等）
3. 添加If Condition活动做校验：
   • 校验文件名前缀：用表达式startsWith(@activity('Get Metadata').output.name, 'file_name_')
   • 可选校验CSV后缀：endsWith(@activity('Get Metadata').output.name, '.csv')
   • 校验通过后再执行后续业务逻辑

三、配置Blob事件触发器 #

• 新建Blob存储事件触发器，选择对应的存储账户和容器，事件类型选「Blob已创建」
• 在触发规则里，设置「Blob路径开头」为file_name_，确保只有符合前缀的文件上传时才触发关联管道
• 将触发器绑定到包含元数据处理逻辑的管道

内容的提问来源于stack exchange，提问作者Potis23