Amazon Redshift Spectrum分区表创建后查询无返回结果问题

问题原因 #

这是Redshift Spectrum分区表的典型问题，核心原因有两个：

1. 分区表创建完成后，没有主动向元数据 catalog 注册分区信息，Redshift Spectrum 不会自动扫描S3路径识别分区
2. 你当前的S3分区路径是年份/月份/日期的纯值格式，不符合Hive分区默认的分区键=值命名规范，无法通过自动扫描命令识别分区

解决方案 #

根据你是否可以调整S3路径格式选择对应方案：

方案一：可调整S3路径命名（推荐） #

1. 把现有S3路径修改为Hive标准分区格式，示例：
   原路径：s3://visits/visits-parquet/2024/05/20/
   修改后：s3://visits/visits-parquet/year=2024/month=05/day=20/
2. 执行分区自动加载命令：

   MSCK REPAIR TABLE spectrum.visits;
   

   该命令会自动扫描指定LOCATION下所有符合规范的分区，批量注册到元数据中，后续新增分区只需要重新执行该命令即可。

方案二：不可调整S3路径命名 #

手动逐个注册分区，示例命令：

ALTER TABLE spectrum.visits 
ADD PARTITION (year='2024', month='05', day='20')
LOCATION 's3://visits/visits-parquet/2024/05/20/';

如果分区数量较多，可以写脚本批量生成对应的ALTER语句执行即可。

其他可排查项 #

如果执行上述操作后仍然无数据，可检查以下配置：

• 确认外部表的字段名、字段类型与Parquet文件的结构完全匹配，Parquet是按列名匹配读取，大小写不一致、类型不匹配都会导致读不到数据
• 确认Redshift Spectrum关联的IAM角色，拥有目标S3路径的s3:GetObject、s3:ListBucket权限
• 确认LOCATION路径末尾带斜杠，且路径层级正确，当前你使用的s3://visits/visits-parquet/下直接是year层级目录，路径配置正确

内容的提问来源于stack exchange，提问作者Scoby