Athena移除minute字符串过滤后查询无结果的问题排查

核心原因 #

问题出在Athena分区投影配置与实际存储的分区路径格式不匹配：
你的表DDL中配置了projection.minute.type='integer'，这意味着Athena会生成不带前导零的数值型分区路径（比如4），但实际S3存储的分钟分区是带前导零的字符串格式（比如04），两者无法匹配导致查询异常。

对三个疑问的解答 #

1. 为什么移除minute='04'后返回空结果？
   当使用CAST("minute" AS INTEGER)=4过滤时，Athena的分区投影会尝试匹配路径为4的分区，但实际存储的是04，自然找不到对应数据，所以返回空。而保留minute='04'时，直接匹配字符串类型的分区路径，能找到数据，同时转换后的数值也满足等于4的条件，因此有结果。

2. 基于转换后的值进行过滤是否不合理？
   不是不合理，而是你的分区投影配置和实际存储格式不兼容。如果分区投影配置能和实际存储路径匹配，基于转换后的值过滤完全可行。比如如果实际分钟分区是不带前导零的数值（比如4），当前的投影配置就没问题，用CAST过滤也能正常返回结果。

3. 移除过滤条件（放宽范围）为何结果更少？
   这不是真正的“范围放宽”导致结果变少，而是两种过滤方式触发的分区匹配逻辑完全不同：

   • 保留minute='04'时，直接命中存在的分区路径，能拿到数据；
   • 移除后用CAST条件，分区投影找不到对应的实际路径，直接返回空，看起来结果更少，本质是分区匹配失败。

额外验证（对应更新2） #

单数字分钟（00-09）出问题、双数字（10-59）正常的原因：
双数字的分钟值（比如10），字符串转整数后还是10，分区投影生成的路径10和实际存储的字符串路径10一致，所以能匹配到；而单数字的分钟值（比如04），投影生成的路径是4，和实际的04不匹配，因此查不到。

解决办法 #

修改表的分区投影配置，让分钟的投影类型与实际存储的字符串格式匹配：

1. 执行ALTER TABLE语句修改TBLPROPERTIES，指定所有带前导零的分钟值：

ALTER TABLE `db`.`table` SET TBLPROPERTIES (
  'projection.minute.type' = 'string',
  'projection.minute.values' = '00,01,02,03,04,05,06,07,08,09,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59'
);

2. 或者保留range配置，调整为string类型的范围：

ALTER TABLE `db`.`table` SET TBLPROPERTIES (
  'projection.minute.type' = 'string',
  'projection.minute.range' = '00,59'
);

修改后，分区投影会生成带前导零的字符串路径，和实际存储一致，此时用CAST("minute" AS INTEGER)=4或者直接用minute='04'过滤都能正常返回结果。

内容的提问来源于stack exchange，提问作者primfaktor