AWS Redshift Spectrum外部表timestamp字段返回NULL问题求助

查询端直接转换的解决方案 #

如果不想修改Glue Schema，可以尝试以下两种方式强制解析字段：

1. 读取原始字符串再转换 #

如果底层数据中report_date实际是字符串格式的时间戳，先将字段强制转为字符串再转换为timestamp：

SELECT CAST(CAST(report_date AS VARCHAR(30)) AS TIMESTAMP) AS report_date
FROM external_schema.table;

如果直接转varchar返回NULL，说明Spectrum无法识别Glue定义的timestamp类型对应的底层存储，可以尝试用JSON提取的方式读取原始值：

SELECT CAST(json_extract_scalar(to_json(t), '$.report_date') AS TIMESTAMP) AS report_date
FROM external_schema.table t;

2. 基于 epoch 时间戳转换 #

如果底层数据存储的是 epoch 毫秒/微秒数（比如Parquet中存储为INT64类型），用以下公式转换：

-- 毫秒转timestamp
SELECT TIMESTAMP 'epoch' + CAST(report_date AS BIGINT)/1000 * INTERVAL '1 second' AS report_date
FROM external_schema.table;

-- 微秒转timestamp
SELECT TIMESTAMP 'epoch' + CAST(report_date AS BIGINT)/1000000 * INTERVAL '1 second' AS report_date
FROM external_schema.table;

修改Glue Schema的解决方案 #

如果查询端转换无效，建议调整Glue中的字段定义：

• 将Glue中report_date的类型从timestamp改为string，然后在Redshift中执行转换：

  SELECT CAST(report_date AS TIMESTAMP) AS report_date
  FROM external_schema.table;
  

  这种方式让Spectrum直接读取字符串值，避免类型解析不兼容的问题。

• 检查Glue中timestamp的精度设置，确保和实际数据的精度匹配。比如如果实际数据是timestamp(3)，不要定义为timestamp(0)，调整精度后重新同步Schema到Redshift Spectrum。

关键原因说明 #

Athena和Redshift Spectrum对Glue Catalog中timestamp类型的解析逻辑存在差异：Athena会自动兼容更多格式的时间戳存储，而Spectrum对类型匹配的要求更严格，当Glue定义的类型和底层实际存储类型（或格式）不完全一致时，就会返回NULL。

内容的提问来源于stack exchange，提问作者Jeff A