Glue Catalog创建的Athena表无数据，如何合并Parquet Schema？

一、可以合并Schema，让旧Parquet文件的新列显示Null #

完全可以通过手动维护表Schema实现这个需求，无需依赖Glue Crawler，操作要点如下：

• 按最新的完整Schema创建Athena表：Schema必须包含旧文件的所有字段，同时新增新文件的字段，字段数据类型要与新文件完全匹配。
• 确保分区配置正确：如果是按dt和tm分区，建表时要明确声明分区列（比如PARTITIONED BY (dt string, tm string)），之后执行MSCK REPAIR TABLE your_table_name;加载全部分区，或者手动用ALTER TABLE your_table_name ADD PARTITION语句添加缺失的分区。
• 验证SerDe配置：Athena默认使用的org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe原生支持Schema兼容——当表的Schema是文件Schema的超集时，旧文件中不存在的字段会自动返回NULL。

你之前查询无结果，大概率是建表时使用了旧版本的Schema，或者未加载全部分区导致的。按最新Schema重建表并加载分区后，即可正常查询所有数据，旧文件的新字段会显示为Null。

二、若手动维护不可行，Glue Crawler可实现增量更新，无需每日全量爬取 #

如果Schema会频繁变更，手动维护成本过高，可以使用Glue Crawler，但无需每日重新爬取全量数据，配置要点如下：

• 开启增量爬取模式：在Crawler配置中，将爬取范围设置为“增量爬取”，Crawler只会扫描S3路径中新增的文件和分区，不会重复处理已爬取过的数据。
• 配置触发方式：优先选择S3事件触发（比如当S3目录有新文件上传时自动触发爬取），替代每日定时全量爬取，减少不必要的资源消耗。
• 设置Schema更新策略：将Crawler的Schema更新规则设为“Merge new columns”，这样当发现新字段时，会自动将其合并到现有表的Schema中，旧文件的新字段同样会显示为Null。

内容的提问来源于stack exchange，提问作者Chen Kastner