为何AWS Glue爬虫未识别分区却创建了4张表？

我来帮你拆解下这个问题——你的S3路径明明是标准的Hive风格分区（pt=yyyy-mm-dd-hh），但Glue爬虫却把每个分区当成独立表，大概率是这几个常见问题导致的：

• 不同分区下的文件Schema不一致
  Glue爬虫会自动检测每个目录下文件的结构，如果某个分区里的文件字段数量、字段名称或者数据类型和其他分区不一样，爬虫会判定这些是不同的数据源，进而创建多张表。比如pt=2011-10-11-01里的file1有3个字段，而其他分区的file1只有2个字段，就会触发这个问题。
  排查建议：查看Glue控制台里自动创建的4张表的Schema，对比字段差异；或者直接下载不同分区的文件，手动检查结构是否一致。

• 爬虫的分区检测功能被关闭
  虽然Glue爬虫默认会启用Hive风格分区的检测，但如果配置时不小心关闭了这个选项，爬虫就不会识别key=value格式的分区目录，而是把每个子目录当成独立的表。
  排查建议：进入爬虫的配置页面，在「高级选项」里确认「启用分区检测」是勾选状态。

• 文件格式在分区间不统一
  如果不同分区下的文件格式不一样（比如有的是CSV，有的是Parquet，甚至有的是未识别的格式），Glue爬虫会把它们归类为不同的表。哪怕文件名都是file1，格式不同也会触发这个问题。
  排查建议：检查每个分区下文件的后缀和实际格式；同时查看爬虫使用的分类器，优先使用Glue内置的分类器（比如CSV、JSON、Parquet），确保能正确识别所有分区的文件。

• 爬虫的数据源路径配置有误
  虽然你说数据源路径是s3://bucket-name/，但要确认爬虫的「包含路径」确实设置为根目录，并且没有添加不必要的排除路径。如果包含路径误设为某个分区子目录，或者排除了其他分区，也可能导致爬虫只扫描单个分区，多次运行后创建多张表。
  排查建议：在爬虫配置的「数据源」部分，确认包含路径是s3://bucket-name/，且「递归扫描」选项处于开启状态（默认开启）。

• IAM权限不足导致元数据读取不全
  如果爬虫使用的IAM角色对某些分区目录没有足够的权限（比如缺少s3:ListBucket或s3:GetObject权限），爬虫无法完整读取这些分区的元数据，可能会误判为独立的表。
  排查建议：检查IAM角色的权限策略，确保它能访问整个s3://bucket-name/路径下的所有对象和目录。

你可以按照这个顺序逐一排查，大概率能找到问题所在。

内容的提问来源于stack exchange，提问作者iammehrabalam