如何在Azure Data Factory数据流中仅加载指定的匹配规则文件
在Azure Data Factory数据流中筛选指定CSV文件加载到Sink数据库
因为你配置的源路径name_*.csv会同时读取name_date1.csv和name_date2.csv,要只加载前者的数据,直接在数据流里加筛选逻辑就行,步骤如下:
- 添加派生列转换:在源数据集之后插入这个转换,派生一个名为
FileName的新列,使用表达式fileName()—— 这个函数会返回当前处理的文件全名。 - 添加筛选行转换:把派生列的输出接到这个转换上,设置筛选条件为
FileName == 'name_date1.csv',这样就会只保留来自目标文件的数据。 - 连接到Sink数据库:将筛选行转换的输出直接连到你的Sink数据集,正常配置加载规则即可。
如果后续需要切换目标文件,只需要修改筛选条件里的文件名就行,比直接改源路径更灵活。
内容的提问来源于stack exchange,提问作者MAX
相关产品推荐
相关产品推荐

