AWS Crawler生成分区列空值：原因排查及解决方法

根目录下的历史文件会影响Athena表吗？ #

会，这正是你遇到空值问题的直接诱因。AWS Glue Crawler爬取根目录时，会遍历所有位于根路径下的文件——包括未放在country=xxx分区目录里的hist file1和hist file2，并将这些文件的数据纳入表的数据源范围。

country列空值的根本原因 #

分区表的country列值是Crawler从S3目录路径的country=xxx标识中提取的。根目录下的历史文件不属于任何country分区目录，没有对应的分区标识，因此Crawler会为这些文件对应的记录的country列赋值为空值，最终在Athena查询中显现。

消除空值的方案 #

• 归档或归类历史文件：如果能确定历史文件所属国家，将其移动到对应的country=xxx分区目录；若不需要保留在当前表中，将它们移到独立的S3归档目录。操作完成后重新运行Glue Crawler，刷新表的元数据。
• 配置Crawler过滤规则：在Glue Crawler的设置中添加排除规则，比如指定排除模式为hist*，让Crawler忽略根目录下的历史文件，避免这类无分区数据被纳入表中。
• 查询时临时过滤：如果暂时无法调整文件或Crawler配置，可在Athena查询语句中通过WHERE country IS NOT NULL过滤空值记录，但这只是临时手段，无法从元数据层面解决问题。

内容的提问来源于stack exchange，提问作者Ananth