pandas中datetime与timedelta相加触发int64加法溢出问题

pandas默认的datetime64[ns]类型底层用int64存储纳秒级时间戳，可表示的时间范围为1677-09-21 00:12:43.145225 ~ 2262-04-11 23:47:16.854775807，只要满足以下任意一种情况就会触发int64溢出错误：

• 原始date字段本身的值超出上述时间范围
• date加days之后的结果超出上述时间范围

你手动构造的测试数据时间落在合法区间内，因此不会触发溢出，和生产数据的表现差异本质是数据本身的极值差异，和字段类型、运算逻辑无关。

使用.dt.date转换后，列类型变为object，存储的是Python原生datetime.date对象，不受datetime64[ns]的范围限制，因此可以正常运算，但object类型不支持pandas向量化运算机制，所以会触发性能警告，数据量大时运算速度会大幅下降。

根据业务场景选择对应方案即可：

• 若数据确实需要处理超出datetime64[ns]范围的时间，可调整时间存储单位避免溢出，同时保留向量化运算能力：

# 转为天级存储的datetime和timedelta类型，时间表示范围可覆盖几十万年
df['date'] = df['date'].astype('datetime64[D]')
df['days'] = df['days'].astype('timedelta64[D]')
# 此时运算不会溢出，也无性能警告
df['new_date'] = df['date'] + df['days']

• 若数据理论上不该超出datetime64[ns]范围，先做异常值清洗即可：

# 检查日期极值
print(df['date'].min(), df['date'].max())
# 检查时间差极值
print(df['days'].max())
# 过滤异常值后再执行运算

• 绝大多数常规业务场景优先使用pandas原生datetime64[ns]类型，不要随意转.dt.date存为object列。原生类型支持向量化运算，性能是object类型的数十上百倍，同时支持dt前缀的各类快捷日期属性操作。
• 仅当业务确实需要处理公元前后、或远大于2262年的极端时间场景时，再考虑调整datetime存储单位，或使用object类型存储Python原生date对象。
• 执行日期运算前优先检查日期、时间差字段的极值，提前排除异常值，避免溢出、逻辑错误等问题。

内容的提问来源于stack exchange，提问作者Wesley Kitlasten