如何在Athena中通过CTAS读取分区Parquet目录？

问题根源 #

你创建分区表时犯了两个关键错误：一是分区列名与S3路径中的分区键不匹配（S3用source_lang，建表写的是source_locale），Athena无法自动关联；二是手动创建分区表后，未加载分区元数据，Athena不知道S3上的分区存在。

正确操作步骤 #

1. 创建匹配分区键的外部表 #

将分区列名改为与S3路径一致的source_lang：

CREATE EXTERNAL TABLE abc (
  key_id STRING,
  value_text STRING,
  price INT
)
PARTITIONED BY (source_lang STRING)
STORED AS PARQUET
LOCATION 's3://path_to_my_data/abc_dataset/'
TBLPROPERTIES ("parquet.compress"="SNAPPY");

2. 加载分区元数据 #

执行MSCK命令让Athena扫描S3路径，自动识别并加载所有分区：

MSCK REPAIR TABLE abc;

3. 验证数据 #

此时执行查询即可读取所有分区的数据：

SELECT * FROM abc;

补充操作 #

• 后续新增分区后，只需再次执行MSCK REPAIR TABLE abc;即可同步新分区元数据。
• 若需手动添加单个分区，可执行：

ALTER TABLE abc ADD PARTITION (source_lang='en_US') LOCATION 's3://path_to_my_data/abc_dataset/source_lang=en_US/';

批量分区场景下，MSCK命令效率更高。

内容的提问来源于stack exchange，提问作者alvas