咨询GCP Data Fusion管道中GCSFile的Regex path filter工作机制

我正好在Data Fusion里折腾过不少GCS相关的管道，这个"Regex path filter"确实官方文档讲得比较零散，我来给你拆解清楚它的工作逻辑：

• 核心作用：这个字段是用来给你指定的GCS根路径做文件/子路径筛选的——简单说就是从根路径下的所有内容里，只挑出符合你写的正则规则的文件，避免拉取不需要的内容。
• 匹配的路径范围：重点注意！它匹配的是相对于你设置的GCS根路径的相对路径，不是完整的GCS绝对路径。比如你把根路径设为gs://my-bucket/source-data，那么它只会看source-data下面的内容的相对路径，比如user.csv或者2024/05/log.txt这种，不会去匹配gs://my-bucket/source-data这部分前缀。
• 正则语法规则：用的是Java标准的正则表达式语法，和Java里java.util.regex.Pattern类的规则完全一致。举几个常用的例子：
  • 匹配所有CSV文件：.*\.csv$
  • 匹配以data_开头的文件：^data_.*
  • 匹配2024年5月的日志文件（假设路径是2024/05/xxx.log）：^2024/05/.*\.log$
• 常见踩坑点：
  • 别写完整的GCS绝对路径当正则！比如根路径是gs://my-bucket/logs，就别写gs://my-bucket/logs/.*\.log，直接写.*\.log就够了，不然会匹配不到任何内容。
  • 注意贪婪匹配的问题：比如你想匹配file_202405.csv这种日期格式的文件，别用file_.*\.csv，因为它会匹配file_202405_backup.csv，应该写file_\d{8}\.csv$来精准匹配8位日期的文件。
• 实际场景示例：
  假设你的GCS根路径是gs://my-bucket/raw，里面的文件结构是：

  raw/
  ├─ customer_001.csv
  ├─ customer_002.csv
  ├─ order_001.csv
  └─ archived/
     └─ customer_003.csv
  

  • 如果设置Regex path filter为^customer_.*\.csv$，只会拉取customer_001.csv和customer_002.csv；
  • 如果设置为.*customer_.*\.csv$，则会把archived/customer_003.csv也拉取进来，因为它的相对路径archived/customer_003.csv符合这个正则。

内容的提问来源于stack exchange，提问作者madhusudan