Kinesis Firehose转Parquet后时间戳格式配置问题

问题根源 #

1. OpenX JSON SerDe处理秒级epoch时，若未明确配置参数，可能未正确将数值转为标准TIMESTAMP类型，导致Parquet文件中实际存储的仍是数值而非时间戳结构。
2. S3 Select查询Parquet的TIMESTAMP字段时，默认返回Parquet底层的数值表示（如纳秒级整数），而非格式化后的字符串。

分步解决方案 #

1. 确保Firehose转换时正确解析秒级epoch为TIMESTAMP #

在Kinesis Firehose的Record Format Conversion配置中，针对OpenX JSON SerDe添加以下参数，明确指定时间戳格式为秒级epoch：

timestamp.formats=unix_sec

此参数会让SerDe将输入的秒级epoch数值直接转换为标准的TIMESTAMP类型，而非保留为数值存储到Parquet中。

2. 在S3 Select查询中显式格式化时间戳 #

即使Parquet中存储的是正确的TIMESTAMP类型，S3 Select默认仍会返回底层数值。需在查询SQL中使用DATE_FORMAT函数将其转为YYYY-MM-DD HH:mm:ss格式：

SELECT DATE_FORMAT(your_timestamp_field, '%Y-%m-%d %H:%i:%s') AS formatted_timestamp
FROM s3object s

注：%i代表两位数分钟，%s代表两位数秒，这是S3 Select支持的标准格式符。

3. 验证Glue Schema与Parquet类型兼容性 #

检查Glue Data Catalog中对应表的Schema，确保该字段类型为TIMESTAMP而非BIGINT。若之前的转换未生效，可在Firehose配置中指定输出Parquet的时间戳存储类型：

parquet.timestamp.type=MILLIS

此参数将Parquet中的时间戳存储为毫秒级整数，确保与Glue的TIMESTAMP类型兼容。

验证步骤 #

1. 重新发送测试数据到Firehose，生成新的Parquet文件。
2. 用Glue Crawler重新爬取S3路径，确认Glue表中的字段类型为TIMESTAMP。
3. 执行上述格式化后的S3 Select查询，检查返回结果是否为预期的YYYY-MM-DD HH:mm:ss格式。

内容的提问来源于stack exchange，提问作者Ruchika Rathi