如何在Pandas 2中解析秒级分辨率的超范围日期时间列？

问题背景 #

有一个包含日期时间列的CSV文件，日期范围覆盖公元1年到3000年，超出了常规datetime64[ns]类型的支持范围。在Pandas 2.0之前，可通过自定义函数作为date_parser传入pd.read_csv将列转为period[H]类型，但Pandas 2.x中date_parser已被弃用，尝试多种方法均遇问题：

• 直接使用pd.read_csv的parse_dates参数：无法推断格式，列仍为object类型字符串
• 先读入再用pd.to_datetime：因日期超出范围报错，指定unit='s'也无效
• 逐元素转换为Timestamp：单个元素转换成功，但列仍为object类型，astype转换失败
• 结合Numpy转换：可得到datetime64[s]类型列，但逐元素处理性能差，且依赖ISO8601格式

示例CSV内容：

index,date
A,"0004-04-04T12:30"
B,"2004-04-04T12:30"
C,"3004-04-04T12:30"

使用环境：Pandas 2.0.3、Numpy 1.24.4、Python 3.11.4（Fedora 37）

高效解决方案 #

方案1：指定格式读取并转换为Period类型 #

利用Pandas 2.0+新增的date_format参数配合parse_dates，先按明确格式解析日期字符串，再批量转换为Period类型，避免逐元素处理的性能损耗：

import pandas as pd

# 读取CSV，指定date列的解析格式
df = pd.read_csv(
    "your_file.csv",
    parse_dates=["date"],
    date_format="%Y-%m-%dT%H:%M"
)

# 转换为period[H]类型（可根据需求调整精度，如"D"表示天、"M"表示月）
df["date"] = df["date"].dt.to_period("H")

方案2：直接读取为低精度datetime64类型 #

如果无需Period类型，可借助Numpy的低精度datetime64[s]类型（时间范围覆盖公元前290308年至公元294276年，完全满足需求），批量转换：

import pandas as pd

# 先读取为字符串列
df = pd.read_csv("your_file.csv")

# 批量转换为datetime64[s]类型
df["date"] = pd.to_datetime(
    df["date"],
    format="%Y-%m-%dT%H:%M"
).astype("datetime64[s]")

关键说明 #

• date_format参数：明确指定日期格式，既避免Pandas自动推断失败，又能大幅提升解析效率
• 低精度datetime64类型：datetime64[s]的时间范围远大于需求，无需担心溢出问题
• Period类型：适合需按时间周期做统计分析的场景，精度可灵活调整

内容的提问来源于stack exchange，提问作者Aule Mahal