如何通过Glue CloudFormation模板正确配置Athena表分区？

看起来你遇到的问题是配置了PartitionKeys但Athena无法读取数据，这通常是因为表结构配置有误或者分区没有被正确加载导致的。我来帮你一步步修复这个问题：

一、修正Glue表模板中的关键错误 #

你的模板里有几个明显的配置问题，先看修正后的代码：

Resources: 
  ... 
  MyGlueTable: 
    Type: AWS::Glue::Table 
    Properties: 
      DatabaseName: !Ref MyGlueDatabase 
      CatalogId: !Ref AWS::AccountId 
      TableInput: 
        Name: my-glue-table 
        Parameters: { "classification" : "json" } 
        PartitionKeys: 
          - {Name: dt, Type: string} 
        StorageDescriptor: 
          Location: "s3://elasticmapreduce/samples/hive-ads/tables/impressions/" 
          InputFormat: "org.apache.hadoop.mapred.TextInputFormat"
          OutputFormat: "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"
          SerdeInfo: 
            # 移除CSV分隔符配置，JsonSerDe不需要该参数
            SerializationLibrary: "org.openx.data.jsonserde.JsonSerDe"
          StoredAsSubDirectories: false 
          Columns: 
            - {Name: requestBeginTime, Type: string} 
            - {Name: adId, Type: string} 
            - {Name: impressionId, Type: string} 
            - {Name: referrer, Type: string} 
            - {Name: userAgent, Type: string} 
            - {Name: userCookie, Type: string} 
            - {Name: ip, Type: string} 
            - {Name: number, Type: string} 
            - {Name: processId, Type: string} 
            - {Name: browserCookie, Type: string} 
            - {Name: requestEndTime, Type: string} 
            - {Name: timers, Type: "struct<modellookup:string,requesttime:string>"}
            - {Name: threadId, Type: string} 
            - {Name: hostname, Type: string} 
            - {Name: sessionId, Type: string}

关键修改点说明： #

• SerDe配置修正：
  • 替换为AWS Athena推荐的稳定JSON SerDe：org.openx.data.jsonserde.JsonSerDe，旧的org.apache.hive.hcatalog.data.JsonSerDe兼容性较差。
  • 移除了separatorChar : ","参数：JsonSerDe不需要CSV分隔符，这个配置会直接干扰JSON数据的解析逻辑，导致Athena无法读取内容。
• Struct类型转义修正：CloudFormation模板中无需转义尖括号，直接使用struct<modellookup:string,requesttime:string>即可。

二、确保S3数据目录符合分区格式 #

配置了dt作为分区键后，你的S3数据必须存储在标准分区命名格式的子目录下，示例结构如下：

s3://elasticmapreduce/samples/hive-ads/tables/impressions/dt=2024-01-01/
s3://elasticmapreduce/samples/hive-ads/tables/impressions/dt=2024-01-02/

每个子目录下存放对应日期的JSON数据文件。

三、加载分区到Glue表 #

即使表结构配置正确，Glue也不会自动发现S3上的分区，你需要手动同步分区信息：

方法1：使用Athena命令同步 #

在Athena控制台执行以下SQL命令，让Glue扫描S3路径并自动添加分区：

MSCK REPAIR TABLE my-glue-table;

这个命令会遍历StorageDescriptor.Location指定的S3根路径，识别所有符合dt=xxx格式的分区目录，并将分区信息同步到Glue表中。

方法2：使用Glue Crawler自动同步 #

创建一个Glue Crawler，指向你的S3数据路径和目标Glue数据库，运行Crawler后它会自动检测分区变化并更新表的分区信息。这种方法适合后续有新分区数据持续添加的场景。

四、验证分区是否生效 #

执行完分区加载后，可以在Athena中查询分区列表确认配置成功：

SHOW PARTITIONS my-glue-table;

如果能看到列出的dt=xxx分区，说明配置完成，此时就可以通过WHERE dt='2024-01-01'来高效查询指定分区的数据了。

内容的提问来源于stack exchange，提问作者user3002273