如何解决pandas转换日期列时出现OutOfBoundsDatetime错误的问题
Pandas超早年日期转换越界问题解决方案
报错原因
你遇到的OutOfBoundsDatetime报错是pandas默认时间类型的精度限制导致的:pandas默认使用datetime64[ns](纳秒精度时间戳)存储日期,仅支持公元1677年9月21日至公元2262年4月11日区间内的日期,你提到的00开头的早年日期(比如0020年)远早于这个下界,因此触发越界错误。
另外你现有代码存在变量名不一致的问题:遍历的是my_df的列,但取值用了global_events_df,实际运行时需要根据你的实际表名调整统一。
解决方案
根据你的使用场景可以选择以下两种处理方式:
方案1:使用Python原生datetime存储(无需pandas时间序列运算)
Python原生datetime模块支持公元1年到9999年的日期范围,适合只需要存储日期、不需要做pandas内置时间计算的场景:
import pandas as pd from datetime import datetime # 自定义日期解析函数,可根据你的实际日期格式调整format参数 def parse_early_date(date_str): # 日期格式为0020-01-31时用"%Y-%m-%d",若为20-01-31且确实是公元0020年可先补前缀:date_str = "00" + date_str return datetime.strptime(date_str, "%Y-%m-%d").date() # 处理两个早年日期列 my_df['date_1'] = my_df['date_1'].apply(parse_early_date) my_df['date_2'] = my_df['date_2'].apply(parse_early_date) # 正常年份的date_3可直接用pandas转换 my_df['date_3'] = pd.to_datetime(my_df['date_3']).dt.date
方案2:转换为Period类型(需要使用pandas时间序列运算)
如果需要对日期列做时间差计算、时间筛选等pandas内置运算,可以转换为Period类型,支持超大日期范围:
# 直接用PeriodIndex解析超早年日期,避免纳秒时间戳越界,freq='D'表示精度为天 my_df['date_1'] = pd.PeriodIndex(my_df['date_1'], freq='D') my_df['date_2'] = pd.PeriodIndex(my_df['date_2'], freq='D') # 正常日期列依然可以用原有逻辑转换 my_df['date_3'] = pd.to_datetime(my_df['date_3']).dt.date
额外注意
如果你的00开头年份是录入时丢失了前两位(比如0020实际是2020),可以先对字符串做补位处理再用常规方式转换:
# 把开头的00替换为20,补全为20xx年 my_df['date_1'] = my_df['date_1'].str.replace(r'^00', '20', regex=True) my_df['date_1'] = pd.to_datetime(my_df['date_1']).dt.date
内容的提问来源于stack exchange,提问作者Priya Chauhan
相关产品推荐
相关产品推荐

