大型dataframe时间转换：pd.to_datetime有哪些可用替代方案？

不是内存不足导致的卡顿。7000万行datetime64[ns]类型的列仅占用约560MB存储空间，远低于8GB设备的内存上限。如果触发内存不足，系统会弹出内存告警或程序直接抛出OOM错误，而非无限制等待。
你之前尝试的方案效率低的核心原因：

• apply是Python层逐行循环，千万级数据下性能极差
• 原生pd.to_datetime默认使用单线程解析，7000万行字符串单线程处理确实需要很长时间

方案1：使用pyarrow引擎加速解析（推荐） #

升级到pandas 2.0及以上版本，调用pd.to_datetime时指定engine='pyarrow'，基于C++实现的多线程解析逻辑，性能是默认引擎的5_{10倍，7000万行固定格式的时间戳在M1设备上通常2}3分钟即可完成转换。
示例代码：

import pandas as pd

# 可选：提前将字符串列转为pyarrow字符串类型，进一步降低解析开销
df['timestamp'] = df['timestamp'].astype('string[pyarrow]')

df['timestamp'] = pd.to_datetime(
    df['timestamp'],
    format='%Y-%m-%d %H:%M:%S.%f',
    engine='pyarrow'
)

方案2：分批处理降低内存峰值 #

如果全量转换时出现内存占用过高的情况，可以拆分数据为多个小批次分别处理后再合并：

batch_size = 7_000_000
processed_batches = []

for idx in range(0, len(df), batch_size):
    batch = df.iloc[idx:idx+batch_size].copy()
    batch['timestamp'] = pd.to_datetime(
        batch['timestamp'],
        format='%Y-%m-%d %H:%M:%S.%f',
        engine='pyarrow'
    )
    processed_batches.append(batch)

df = pd.concat(processed_batches, ignore_index=True)

方案3：加载数据阶段直接完成转换 #

如果数据是从CSV等文件读取而来，不要全量加载为object类型后再转换，直接在读取阶段指定时间列解析，一步完成：

df = pd.read_csv(
    "你的数据文件路径.csv",
    parse_dates=['timestamp'],
    date_format='%Y-%m-%d %H:%M:%S.%f',
    engine='pyarrow'
)

注意：请完全放弃apply类的逐行转换方案，所有Python层的循环在千万级数据场景下都没有性能优势。

内容的提问来源于stack exchange，提问作者Sid