如何加速基于dateutil的Pandas日期校验与数据清洗？

你的问题核心在于逐行循环操作Pandas DataFrame+dateutil.parse的通用解析开销，这两种方式叠加会让几十万行数据的处理速度变得极慢。下面是基于Pandas内置矢量化操作的优化方案，能把处理时间压缩到几秒内：

方案1：用pd.to_datetime矢量化处理（通用场景） #

直接用Pandas内置的日期转换函数，配合errors='coerce'把无效日期转为NaT（缺失日期值），再批量剔除无效行：

df = pd.read_csv(filename, delimiter='|', dtype=str)
# 转换目标列，无法解析的日期转为NaT
df[column[0]] = pd.to_datetime(df[column[0]], errors='coerce')
# 剔除所有包含无效日期的行
df = df.dropna(subset=[column[0]])
# 若需要转为指定格式的字符串，再执行这一步
df[column[0]] = df[column[0]].dt.strftime("%Y-%m-%d")

这个方案全程是Pandas的矢量化操作，没有逐行循环，处理几十万行数据基本在1-2秒内完成。

方案2：指定日期格式进一步提速（已知格式场景） #

如果你的日期数据有固定或有限的几种格式，直接指定format参数可以避免Pandas自动猜测格式，进一步提升速度：

df = pd.read_csv(filename, delimiter='|', dtype=str)
# 假设日期格式是'%Y-%m-%d'或'%d/%m/%Y'，传入格式列表
df[column[0]] = pd.to_datetime(df[column[0]], errors='coerce', format=['%Y-%m-%d', '%d/%m/%Y'])
df = df.dropna(subset=[column[0]])
df[column[0]] = df[column[0]].dt.strftime("%Y-%m-%d")

指定格式后，解析效率会比通用模式再提升30%-50%左右。

原代码慢的原因 #

1. 逐行循环操作：df.loc[i, ...]每次赋值都会触发DataFrame的内部数据结构更新，几十万次操作的开销极大；
2. dateutil.parse的开销：这个函数是通用日期解析，会尝试各种格式，比Pandas针对批量优化的解析器慢很多。

内容的提问来源于stack exchange，提问作者Southsun1