使用Athena分区投影创建表后查询返回空结果求助

1. 先确认分区投影的核心配置没缺项 #

分区投影要生效，几个关键配置一个都不能少：

• 必须开启投影开关：TBLPROPERTIES ('partition_projection.enabled' = 'true')
• 要明确指定投影的分区列：要么在PROJECTED COLUMNS里声明，要么在TBLPROPERTIES里设置partition_projection.projected_columns = 'year'
• 对应分区列的参数要匹配：比如你的year是4位整数，就得配：

  'partition_projection.year.type' = 'integer',
  'partition_projection.year.range' = '2020,2025', -- 覆盖你的实际年份范围
  'partition_projection.year.interval' = '1',
  'partition_projection.year.digits' = '4'
  

  如果year是字符串类型，就换成type=enum并指定可选值，或者type=string。

2. 核对S3路径和表配置的匹配度 #

• 表的LOCATION必须指向分区目录的父目录：比如你的文件存在s3://<你的桶>/test/2022/下，那LOCATION得设成s3://<你的桶>/test/，不能直接指向test/2022/，不然投影没法自动识别其他年份的分区。
• 如果手动设置了path_template，要确保和实际路径结构一致：比如你的结构是test/{year}/，路径模板就写'${year}'就行，不用加test/（因为LOCATION已经指向test目录了）。要是没设path_template，Athena会默认按分区列顺序拼接，这时候要保证分区列顺序和路径层级完全对应。

3. 检查分区列类型和路径值的一致性 #

• 路径里的年份是2022（4位数字），那表中year列的类型要和投影配置对应：比如列定义成INT year，投影类型就设integer；要是列是STRING year，投影可以设enum（列出所有可能的年份）或者string。
• 别搞类型不匹配：比如列是字符串但投影用整数，Athena肯定没法把路径里的值映射到分区列上。

4. 确认S3文件路径完全符合规则 #

• 必须严格是test/年份/文件名.csv的结构，不能有拼写错误，比如不能是test/22/（和投影的4位数字不匹配）或者test/2022_01/（多了月份后缀）。
• 文件名里不能带分区信息，比如不能把文件直接放在test/下叫log_2022.csv，必须放到对应年份的子目录里。

5. 简化结构的正确DDL参考 #

按照你的test/{year}/<filename>结构，正确的建表语句大概是这样的，把字段和桶名换成你自己的：

CREATE EXTERNAL TABLE analytics.log_2 (
  -- 替换成你实际的CSV字段，比如：
  id INT,
  event_time STRING,
  message STRING
)
PARTITIONED BY (year INT)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ',',
  'skip.header.line.count' = '1' -- 如果你的CSV有表头就加这句
)
LOCATION 's3://your-bucket-name/test/'
TBLPROPERTIES (
  'partition_projection.enabled' = 'true',
  'partition_projection.projected_columns' = 'year',
  'partition_projection.year.type' = 'integer',
  'partition_projection.year.range' = '2020,2025',
  'partition_projection.year.interval' = '1',
  'partition_projection.year.digits' = '4'
);

6. 额外排查小技巧 #

• 试试执行SHOW PARTITIONS analytics.log_2，如果返回空结果，说明投影配置肯定有问题，得回到前面的步骤检查。
• 确认CSV文件的格式和表定义匹配：比如分隔符是不是逗号，有没有表头，字段数量和类型对不对——毕竟不用分区的时候能查到，这步可能没问题，但还是可以快速核对下。

内容的提问来源于stack exchange，提问作者Mehran