使用pd.to_datetime转换CSV时间列运行缓慢问题咨询

耗时是否正常 #

该耗时明显超出正常范围。2000行带时区标识的标准化时间字符串转换，正常pandas处理耗时应该在1~10毫秒区间，0.2秒属于性能异常的表现。

可排查的问题点 #

• 时间字符串存在格式异常：虽然可见内容正常，但可能存在少量行带不可见特殊字符（零宽空格、多余空白符）、时区标识不统一、时间字段缺失等问题，pandas遇到不兼容格式时会自动退化为逐行解析的慢路径，不会直接抛出错误。可执行print(data['datetime'].apply(len).value_counts())查看所有字符串长度是否统一，快速定位异常条目。
• 数据列类型异常：确认读入CSV后data['datetime']的类型为object类字符串，若存在混合类型（比如部分行被错误解析为数值、空值类型），也会大幅拖慢转换速度。
• 系统环境变量异常：检查是否近期修改过本地时区配置、python环境的locale参数，跨时区的格式解析也可能出现额外耗时。

优化方法 #

• 重点推荐：显式指定时间格式，避免pandas自动推断格式的开销。你的时间格式对应规则为%Y-%m-%d %H:%M:%S%z，修改代码如下即可实现10~100倍的性能提升：

  data['datetime'] = pd.to_datetime(data['datetime'], format='%Y-%m-%d %H:%M:%S%z')
  

• 不想手动写格式的话，可以开启自动推断格式参数：

  data['datetime'] = pd.to_datetime(data['datetime'], infer_datetime_format=True)
  

• 先清洗字符串再转换，消除不可见字符的影响：

  data['datetime'] = pd.to_datetime(data['datetime'].str.strip(), format='%Y-%m-%d %H:%M:%S%z')
  

• 读CSV阶段直接完成时间解析，减少后续处理步骤：

  import pandas as pd
  data = pd.read_csv(
      "你的文件路径.csv",
      parse_dates=["datetime"],
      date_parser=lambda x: pd.to_datetime(x, format="%Y-%m-%d %H:%M:%S%z")
  )
  

内容的提问来源于stack exchange，提问作者Olly