为何显式指定format时Pandas to_datetime更慢且峰值内存更高？

问题现象 #

将Pandas数据框中格式为%Y%m%d的字符串列转换为日期时间类型时，显式设置format参数后，代码运行速度更慢且峰值内存占用显著更高；甚至传入错误格式%Y-%m-%d时，仍能成功运行且性能与未指定format时相近。测试基于Pandas 1.4.3和1.3.4。

测试数据构造代码：

import pandas as pd

# 构造格式为'%Y%m%d'的字符串日期列
df = pd.DataFrame({'date': pd.date_range(start='2000-01-01', end='2023-01-01')})
df['date'] = df['date'].dt.strftime('%Y%m%d')

耗时对比 #

# 无显式format
%timeit -n 500 pd.to_datetime(df['date'])
# 输出：1.35 ms ± 143 µs per loop (mean ± std. dev. of 7 runs, 500 loops each)

# 指定正确format
%timeit -n 500 pd.to_datetime(df['date'], format='%Y%m%d')
# 输出：5.32 ms ± 166 µs per loop (mean ± std. dev. of 7 runs, 500 loops each)

峰值内存对比 #

import tracemalloc

tracemalloc.start()
# 无显式format
pd.to_datetime(df['date'])
_, peak = tracemalloc.get_traced_memory()
print(f'Peak memory usage: {peak}')
tracemalloc.clear_traces()
# 输出：Peak memory usage: 141349

# 指定正确format
pd.to_datetime(df['date'], format='%Y%m%d')
_, peak = tracemalloc.get_traced_memory()
print(f'Peak memory usage: {peak}')
tracemalloc.clear_traces()
# 输出：Peak memory usage: 1386294

原因解析 #

1. 无显式format时的快速优化路径 #

当不指定format参数时，Pandas会触发快速解析逻辑：

• 对于纯数字组成的日期字符串（如20000101），Pandas会将其识别为可直接转换的整数编码，通过C层的向量化数值运算直接生成datetime64类型数组，全程无需逐元素字符串解析，因此速度快、内存占用低。
• 当传入错误格式（如%Y-%m-%d）时，Pandas会先尝试用指定格式解析，失败后自动 fallback 到上述快速路径，因此性能和未指定format时接近。

2. 显式指定format时的慢路径 #

当显式设置format='%Y%m%d'时，Pandas会启用strptime风格的逐元素解析：

• 这种方式会遍历每个字符串，调用Python层面的解析函数逐字符匹配格式模板，无法利用向量化运算的优势，导致运行时间大幅增加。
• 解析过程中会生成大量临时中间对象，进一步推高了峰值内存占用。

版本说明 #

在Pandas 1.3.x到1.4.x版本中，上述逻辑稳定存在；在更高版本（如2.0+）中，针对显式format的解析有部分优化，但对于%Y%m%d这类纯数字格式，无format的快速路径依然保持性能优势。

内容的提问来源于stack exchange，提问作者ymg