Pandas中read_csv与to_datetime解析带时区日期的速度差异及优化问询

先还原下你的实操场景，方便大家理解问题背景：

处理含70821条数据的.csv文件时：

• 使用df = pd.read_csv("file.csv", parse_dates=[0])解析日期耗时超10分钟；
• 仅用parse_dates=True无法识别日期列，仍为object类型；
• 不指定parse_dates读文件仅需约1秒；
• 单独执行df["created_at"]=pd.to_datetime(df['created_at'])解析耗时约3分钟，指定format="%Y-%m-%dT%H:%M:%S%z"或infer_datetime_format=True也没明显提速；
• 手动删除日期字符串中的+07:00时区部分后，解析速度直接飙到约500ms。

咱们逐个拆解你的问题：

1. 为何直接用read_csv解析日期速度最慢？ #

核心原因在于read_csv的parse_dates是和文件IO、数据加载绑定在一起的，它的底层逻辑是逐行读取+逐行解析日期，还要兼顾整个DataFrame的构建流程。带时区的日期字符串本身解析成本就高，再加上和IO操作交织在一起，会产生额外开销——比如IO阻塞会打断解析的批量优化，pandas无法集中资源处理日期解析。另外，read_csv的日期解析逻辑相对于单独的pd.to_datetime优化程度更低，尤其是处理带%z格式的时区字符串时，没有专门的批量处理逻辑，导致7万条数据的耗时直接拉满。

2. 为何pd.to_datetime解析速度更快但仍偏慢？ #

pd.to_datetime是单独对Series做批量解析，脱离了文件IO的干扰，所以速度比read_csv内置解析快不少，但慢的根源还是带冒号的时区偏移（+07:00）解析成本高。pandas底层默认用dateutil.parser解析带时区的字符串，这个工具对+07:00这种带冒号的偏移格式处理效率很低，每一条都要做时区规则验证、偏移计算，7万条累加下来就需要3分钟。而且即使是批量解析，时区处理的开销也没法完全抵消。

3. 指定format或infer_datetime_format为何无法提速？ #

按道理指定format应该能大幅提速，但这里的问题出在**%z格式对带冒号的时区偏移支持不够高效**：

• 旧版本的pandas中，%z解析+07:00时，底层还是会走复杂的分支，无法完全按照指定格式做快速匹配；
• infer_datetime_format=True确实能推断出格式，但推断过程本身需要遍历部分数据，而且推断成功后，时区解析的核心开销还是存在，所以看不到明显提速。

4. 如何优化解析流程？解析后如何保存文件避免重复耗时解析？ #

优化解析流程的方案 #

方案1：移除时区后快速解析（不需要保留时区时）

读取文件时先不解析日期，用批量字符串替换去掉时区部分，再指定format解析，这是最快的方式：

# 快速读取原始数据
df = pd.read_csv("file.csv")
# 批量移除+07:00时区后缀，再指定格式解析
df["created_at"] = pd.to_datetime(
    df["created_at"].str.replace(r"\+07:00$", "", regex=True),
    format="%Y-%m-%dT%H:%M:%S"
)

方案2：保留时区的高效解析

如果需要保留时区信息，可以先剥离时区部分，解析日期后再手动设置时区：

df = pd.read_csv("file.csv")
# 剥离日期和时区部分
df["created_at_clean"] = df["created_at"].str.replace(r"\+07:00$", "", regex=True)
# 快速解析日期
df["created_at"] = pd.to_datetime(df["created_at_clean"], format="%Y-%m-%dT%H:%M:%S")
# 手动设置对应时区（+07:00对应Asia/Bangkok）
df["created_at"] = df["created_at"].dt.tz_localize("Asia/Bangkok")
# 删掉临时列
df.drop("created_at_clean", axis=1, inplace=True)

方案3：升级pandas版本

新版本的pandas（比如2.0+）对日期解析做了大量优化，替换了部分底层解析逻辑，对带时区的字符串解析速度提升明显，升级后可能不需要手动处理就能提速。

避免重复解析的保存方法 #

最优方案是用二进制格式保存，这类格式会完整保留数据类型（包括datetime64带时区的类型），下次读取几乎零耗时：

# 保存为Parquet格式（推荐，压缩率高、读取快）
df.to_parquet("processed_data.parquet", index=False)
# 下次读取
df = pd.read_parquet("processed_data.parquet")

# 或者用Pickle格式，兼容性好
df.to_pickle("processed_data.pkl")
df = pd.read_pickle("processed_data.pkl")

如果需要兼容其他工具，也可以保存为带标准日期格式的CSV，但下次读取还是需要解析，只是格式固定后速度会快很多：

df.to_csv("processed_data.csv", index=False, date_format="%Y-%m-%dT%H:%M:%S%z")
# 下次读取
df = pd.read_csv("processed_data.csv", parse_dates=["created_at"])

内容的提问来源于stack exchange，提问作者Mrob