Glue Crawler排除模式失效：仅需编目S3桶中data1目录

先排查核心配置的正确性 #

首先得明确：Glue Crawler的排除模式是基于你设置的「包含路径」来做相对匹配的，不是按S3绝对路径来写的。结合你的场景，先核对这几个关键点：

• 你的爬虫「包含路径」是不是设成了s3://my-bucket/somedata/？如果是，那排除模式必须相对于这个路径来定义，不能写绝对路径
• 正确的排除模式应该是这两个：
  • **/*.sql：用双星号匹配任意层级的子目录，确保所有.sql文件都被排除（单星号*.sql只会匹配包含路径根目录下的.sql文件，子目录里的会漏）
  • data2/**：同样用双星号递归匹配data2下的所有内容（data2/*只能排除data2下的直接文件/一级子目录，深层内容不会被排除）

常见的配置坑点 #

• 别用绝对路径写排除模式：比如写s3://my-bucket/somedata/*.sql是无效的，爬虫不认这种写法
• 混淆单星号和双星号的作用：单星号仅匹配当前层级，双星号才会递归匹配所有子层级，这是很多人踩坑的地方

快速验证排除模式是否正确 #

可以用AWS CLI模拟爬虫的匹配逻辑，确认模式是否能精准过滤：

aws s3 ls s3://my-bucket/somedata/ --exclude "**/*.sql" --exclude "data2/**" --recursive

如果这个命令返回的只有data1目录下的内容，说明模式没问题，那问题可能出在爬虫的其他配置上。

其他可能的修复方向 #

• 检查分类器优先级：如果你配置了自定义分类器，可能会干扰默认的文件识别逻辑，暂时禁用自定义分类器再试一次
• 清空旧元数据重新爬：如果之前爬虫已经爬过整个路径，旧的元数据可能残留。在爬虫配置的「输出」部分，勾选「清空现有数据」，然后重新运行爬虫

内容的提问来源于stack exchange，提问作者Kirk Broadhurst