使用AWS Glue为S3中Parquet数据创建Athena表如何免手动录入列信息

Parquet属于自描述存储格式，文件头内置完整的列名、数据类型元数据，完全不需要手动录入列详情，以下是可直接落地的可行方案：

方案1：Glue Crawler自动生成表结构（全场景适配，最推荐） #

这是AWS原生无代码方案，可直接绕开手动填列的冗余步骤：

• 进入Glue控制台新建爬网程序（Crawler），数据源选择存放Parquet文件的目标S3路径，绑定拥有S3读取权限、Glue数据目录写入权限的IAM角色，指定表结构存储的目标数据库后直接运行即可。
• 爬网程序会自动扫描Parquet文件的内置元数据，在Glue数据目录中自动创建对应表，所有列名、数据类型、表分区结构都会自动识别填充。哪怕是数千列的宽表，通常数分钟即可完成爬取，全程不需要提前知晓文件结构，也不需要手动输入任何列信息。
• 爬取完成后直接进入Athena，选中对应库表即可直接预览、查询数据。如果后续Parquet文件Schema发生变更，重新运行一次爬网程序即可自动同步更新表结构。

方案2：建表时一键从S3文件推断Schema（适合单表快速配置） #

如果不想单独创建爬网程序，在Glue手动建表流程中也可以跳过手动填列步骤：

• 进入Glue控制台新建表页面，填写完表名、S3存储路径、文件格式选择Parquet后，找到表单中的「从S3文件推断Schema」按钮，选中路径下任意一个Parquet文件，系统会自动解析文件元数据，将所有列名、对应数据类型自动填充到列详情表单，点击保存即可完成建表，全程不需要手动输入列信息。

注意事项 #

流程中要求必填的「列详情录入」步骤，是手动建表流程下针对无自描述能力的文件格式（比如无表头CSV、纯文本文件）设计的，对于Parquet、ORC这类自带完整Schema元数据的格式，完全不需要走手动录入路径，无需卡在手动建表的表单环节。

如果需要通过命令行批量操作，可直接调用AWS CLI接口启动爬网程序，示例命令：
aws glue start-crawler --name your-parquet-crawler-name

内容的提问来源于stack exchange，提问作者Tristan Tran