pyarrow存储9999-12-31等大时间戳到parquet出错如何解决

核心结论 #

Parquet与PyArrow本身支持超大时间戳存储，你遇到的异常是纳秒精度时间戳的取值范围限制导致的。

问题根因 #

• int64类型存储纳秒精度时间戳的最大值仅支持到2262-04-11 23:47:16.854775807，9999-12-31远超出这个范围，强制转纳秒精度会发生整数溢出，就会出现时间跳转到1816年、转换报错的异常。
• 你代码中虽然定义了毫秒精度的Arrow字段，但pandas、parquet-tools、Snowflake默认导入逻辑等下游工具读取Parquet时，会默认将时间戳转换为纳秒精度处理，触发溢出。

可行解决方案 #

方案1：保留时间戳类型，全链路明确指定精度 #

毫秒、秒精度的int64时间戳完全可以覆盖9999-12-31的取值范围：

• 秒精度int64最大支持到290308-12-27
• 毫秒精度int64最大支持到292471-01-01
  你只需要在上下游明确指定精度，禁止自动转纳秒即可：
• 用pandas查验数据时增加参数避免自动转纳秒：

  pd.read_parquet("tt.parquet", timestamp_as_object=True)
  

• 导入Snowflake时，在COPY INTO语句中明确指定对应字段的精度为毫秒：

  COPY INTO your_table
  FROM @your_stage/tt.parquet
  FILE_FORMAT = (TYPE = PARQUET)
  MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE
  (tt :: TIMESTAMP(3));
  

方案2：特殊时间戳存为字符串 #

如果你的数据链路中有不可控的工具默认转换纳秒精度，可以直接将9999-12-31这类特殊超大时间戳存为STRING类型，业务读取时自行做转换，完全规避溢出问题。

方案3：使用DATE类型存储 #

如果业务不需要时分秒精度，直接将字段定义为pa.date32()类型，date32的取值范围天然支持到9999-12-31，不会有溢出问题，读写稳定性更高。

内容的提问来源于stack exchange，提问作者nobody