AWS Athena/Glue将Parquet微秒时间戳向下取整至毫秒：解决方法与是否为已知Bug？

首先明确：这个向下取整行为不是Bug，是Athena和Glue对timestamp类型的默认设计——两者默认只支持毫秒级精度的timestamp展示，读取微秒级数据时会直接截断（向下取整）而非四舍五入。不过可以在Glue映射或后续查询阶段解决这个问题，以下是具体方案：

一、在Glue ETL作业中自定义处理 #

如果需要保留原始微秒数据给其他工具，同时让Athena查询到四舍五入后的毫秒时间，可以在Glue ETL作业里对时间字段做转换：

1. 针对微秒级时间戳（bigint类型，存储微秒数） #

用PySpark自定义UDF实现四舍五入逻辑：

from pyspark.sql.functions import udf
from pyspark.sql.types import TimestampType
import datetime

def us_to_ms_round(us):
    # 微秒转毫秒时加500再整除1000，实现四舍五入
    ms = (us + 500) // 1000
    return datetime.datetime.fromtimestamp(ms / 1000.0)

round_ts_udf = udf(us_to_ms_round, TimestampType())

# 给DataFrame添加处理后的字段
df = df.withColumn("rounded_timestamp", round_ts_udf(df["original_us_timestamp"]))

2. 针对字符串格式的微秒时间 #

先转为Spark支持的微秒级timestamp，再通过表达式实现四舍五入：

from pyspark.sql.functions import to_timestamp, expr

# 解析字符串为微秒级timestamp
df = df.withColumn("original_ts", to_timestamp(df["ts_str"], "yyyy-MM-dd HH:mm:ss.SSSSSS"))
# 加500微秒后截断到毫秒，等价于四舍五入
df = df.withColumn("rounded_ts", expr("date_trunc('millisecond', original_ts + interval 500 microsecond)"))

处理完成后，将数据写入S3，同时更新Glue表的schema，新增处理后的字段供Athena查询。

二、修改Glue表Schema，启用微秒级精度 #

如果使用Athena引擎版本2及以上（目前默认是版本2），可以直接修改Glue表的schema，将时间字段定义为timestamp(6)（微秒级精度）：

1. 登录Glue控制台，找到目标表，进入“编辑表”页面
2. 将时间字段的类型从timestamp改为timestamp(6)
3. 保存后，在Athena中查询时就能看到完整的微秒时间，也可以用SQL直接做四舍五入：

SELECT date_trunc('millisecond', your_timestamp + interval 500 microsecond) AS rounded_ms_ts
FROM your_table

三、用字符串类型保留原始时间（仅用于展示） #

如果不需要Athena对时间字段做运算，只是要展示原始的微秒时间，可以在Glue表中将时间字段定义为string类型。这种方式下Athena会直接读取原始的微秒字符串，不会做截断，但无法进行时间过滤、分组等SQL操作。

内容的提问来源于stack exchange，提问作者mfcss