Azure Data Factory如何通过wildcard路径过滤排除指定文件？

ADF的Copy活动原生的通配符语法不直接支持复杂排除匹配，但是可以通过以下两种常用方案实现需求：

方案1：使用通配符组合规则绕过（适合排除单/少量固定命名的文件） #

如果要排除的文件名是固定的，比如要跳过skip_me.csv，其余csv都复制，可以按文件名规则拆分匹配规则：

• 要是排除的文件首字符和其他文件不同：比如排除的文件开头是s，其他都不是，直接配置通配符为[!s]*.csv即可，[!x]表示匹配第一个字符不是x的任意文件
• 要是排除的文件名长度固定，其他文件长度和它不同：比如排除的文件是8个字符的test.txt，其他txt文件名长度都不等于8，可以拆分多组通配符，比如*.???（文件名+后缀总长度小于8）、?????????*（总长度大于8）

注意：这种方式仅适合规则简单的排除场景，复杂场景建议用第二种方案。

方案2：使用Copy活动的「过滤器」配置（通用、推荐） #

这个是ADF原生支持的排除文件方案，不需要写复杂的通配符：

1. 进入Copy活动的源配置面板，找到「Filter by last modified」下方的「Filter」配置项
2. 点击「新建」，添加两条过滤规则：
   • 第一条：规则类型选Include，值填*，匹配所有文件
   • 第二条：规则类型选Exclude，值填你要跳过的指定文件名（比如skip_me.csv），如果要匹配路径下所有子目录里的这个文件，填**/skip_me.csv
3. 执行时ADF会优先应用排除规则，即可实现跳过指定文件、复制其余所有文件的需求

补充说明 #

• ADF的通配符仅支持*（匹配任意多字符）、?（匹配单个字符）、[]（匹配括号内的单个字符/范围/排除单个字符），没有类似正则的?!排除语法，不要直接用正则表达式写通配符，会识别失败
• 如果需要批量排除多个规则的文件，可以新增多条Exclude过滤规则即可

内容的提问来源于stack exchange，提问作者kira_22