AWS DMS迁移PostgreSQL Timestamp至S3 Parquet日期偏移问题处理咨询

问题根源 #

这是由于PostgreSQL和Parquet对早期日期的纪年规则差异导致的：

• PostgreSQL支持天文纪年（包含公元0年），可正常存储公元前的日期；
• Parquet默认的TIMESTAMP类型遵循公历纪年（无公元0年，公元前1年之后直接是公元1年），在处理公元1年之前的日期时会产生年份偏移。你的0002-11-30属于公元元年之前的日期，因此被错误转换为0003-11-30。

解决方案（按优先级排序） #

1. 调整PostgreSQL源端点连接参数（无需修改列转换） #

在DMS的PostgreSQL源端点配置中，添加额外连接参数，强制PostgreSQL使用公历规则输出日期：

options=-c "datestyle='ISO, Gregorian'"

该配置会让PostgreSQL在返回日期时对齐Parquet的纪年规则，避免转换时的年份偏移，且不会影响其他正常日期的处理，也无需修改下游应用。

2. 针对特定行的精准修正（仅影响问题行） #

如果仅这一行出现问题，可在DMS的表映射规则中添加条件转换，只修正该行的日期值，不影响其他数据：
在paymentdate列的转换规则中使用以下表达式：

CASE WHEN paymentdate = TIMESTAMP '0002-11-30 00:00:00' THEN TIMESTAMP '0002-11-30 00:00:00' ELSE paymentdate END

此方案仅针对问题行生效，不会对其他正常日期的处理产生影响，下游应用无需调整。

3. 备选：修改目标列类型（不推荐，影响下游） #

如果上述方案无效，可考虑将目标S3 Parquet中的paymentdate列类型改为STRING，直接存储原始日期字符串。但此方案会改变列类型，可能需要下游应用适配，因此仅作为最后备选。

内容的提问来源于stack exchange，提问作者Kalpit Joshi