AWS Glue Crawler无法读取S3桶KMS加密Snappy压缩Parquet文件元数据问询

1. 配置KMS密钥访问权限 #

这是该场景下最常见的问题根因，需确保Glue Crawler关联的IAM角色有权限调用加密所用的KMS密钥：

• 若使用客户管理型KMS密钥(CMK)，需在KMS密钥策略中给Glue服务角色（通常为AWSGlueServiceRole-xxx格式）开放以下权限：kms:Decrypt、kms:DescribeKey、kms:GenerateDataKey
• 若使用AWS托管型S3默认KMS密钥，无需修改密钥策略，直接给Glue服务角色的权限策略中添加上述三个KMS动作即可
• 若KMS密钥归属于其他AWS账号，需同时在跨账号KMS密钥策略、Glue角色权限策略中完成双向授权

2. 调整Crawler运行配置 #

• 确认源路径配置准确：路径需指向Parquet文件所在的父级目录，避免配置到根目录或单文件路径，导致Crawler无法识别整体目录结构
• 强制指定文件分类：在Crawler的输出配置中，将分类强制设置为parquet，避免Crawler误判文件格式跳过元数据提取
• 关闭异常合并逻辑：如果目录下存在多套不同Schema的Parquet文件，开启为每个兼容Schema创建单独表的配置，避免Schema合并失败导致字段丢失
• 调整运行资源：大文件/大批量文件场景下，可将Crawler并发数调整到5-10，避免资源不足导致元数据读取超时

3. 验证Parquet文件合法性 #

• 使用parquet-tools工具校验源文件元数据是否正常，参考命令：parquet-tools schema s3://<你的存储桶路径>/<xxx.snappy.parquet>，确认文件本身没有损坏、Schema结构正常
• 确认Parquet使用的是标准Snappy压缩格式，自定义修改过压缩参数的Snappy文件无法被Glue正常识别

4. 补充权限与网络配置 #

• 给Glue服务角色开放对应S3路径的基础访问权限：s3:ListBucket、s3:GetObject
• 若存储桶配置了VPC端点访问限制，需将Glue Crawler关联到对应VPC，且VPC端点策略允许Glue访问S3、KMS服务

内容的提问来源于stack exchange，提问作者Sachin_28