AWS Athena分区键变为varchar？咨询是否属正常情况

这属于操作有误，并非正常情况，核心原因是分区元数据的类型未与表定义的分区键类型对齐，以下是具体原因和解决方法：

• 问题根源
  Athena基于Hive风格的分区路径（如s3://bucket/path/account_id=123/record_date=2024-05-20/）识别分区。如果使用MSCK REPAIR TABLE自动加载分区，或手动添加分区时未明确指定类型，Athena会默认将所有分区键解析为varchar类型，直接忽略建表时定义的INT/DATE类型。

• 解决方法

  1. 建表时配置分区投影（推荐方案）
     分区投影能让Athena自动按你定义的类型识别分区，无需手动添加或修复：

     CREATE TABLE your_table (
       -- 替换为你的实际列定义
       col1 STRING,
       col2 INT
     )
     PARTITIONED BY (
       account_id INT,
       record_date DATE
     )
     STORED AS PARQUET
     LOCATION 's3://your-bucket/table-path/'
     TBLPROPERTIES (
       'partition_projection.enabled' = 'true',
       'partition_projection.account_id.type' = 'integer',
       'partition_projection.account_id.range' = '1,10000', -- 匹配你的account_id实际范围
       'partition_projection.record_date.type' = 'date',
       'partition_projection.record_date.range' = '2020-01-01,2025-12-31',
       'partition_projection.record_date.format' = 'yyyy-MM-dd'
     );
     

  2. 手动修正已有分区类型
     若表已创建，需删除错误类型的分区后重新添加并指定类型：

     -- 删除错误类型的分区
     ALTER TABLE your_table DROP PARTITION (account_id='123', record_date='2024-05-20');
     -- 重新添加分区并指定类型
     ALTER TABLE your_table ADD PARTITION (account_id=123, record_date=DATE '2024-05-20')
     LOCATION 's3://your-bucket/path/account_id=123/record_date=2024-05-20/';
     

     分区数量较多时，可批量生成ALTER语句执行，减少手动操作量。

  3. 禁用自动分区修复
     避免使用MSCK REPAIR TABLE加载分区，该方式会强制将分区键转为字符串类型。

内容的提问来源于stack exchange，提问作者Erdem Çulcu