如何高效处理pandas DataFrame中格式不一致的日期字符串列？

问题背景 #

现有体量极大的DataFrame，其中date列为格式不一致的字符串且包含错误值，简化复现代码如下：

import pandas as pd
import numpy as np

df_length = 10000
df = pd.DataFrame({
        "to_ignore": np.random.randint(1, 500, df_length),
        "date": np.random.choice(["11 Nov 2018", "Feb 2019", "2021-11-02", "asdf"], df_length),
    })

已有方案的缺陷 #

• 依次指定格式调用pd.to_datetime设置errors='ignore'：存在无效字符串时整列转换失效；设置errors='coerce'会丢失未匹配当前格式的有效数据
• 使用dateparser库逐行转换：存在日期解析错误（如月年格式默认填充非首日）、大体积DataFrame处理速度过慢的问题

最优解决方法 #

采用矢量化分格式匹配填充的方案，既保证100%匹配规则内的有效日期不丢失，也保证处理速度远高于逐行apply操作，核心逻辑是：

1. 预先初始化全NaT的日期列，类型固定为datetime
2. 按格式优先级，依次用对应格式做转换，仅填充当前还未解析成功的位置
3. 所有规则匹配完成后，剩余的NaT即为原始无效值，可根据需求保留或单独存储原始字符串

示例实现代码：

# 初始化结果列，全为NaT
df['date_parsed'] = pd.Series(pd.NaT, index=df.index, dtype='datetime64[ns]')

# 定义支持的日期格式列表，可根据实际情况调整顺序（优先级高的放前面）
date_formats = [
    '%Y-%m-%d',   # 年-月-日格式
    '%d %b %Y',   # 日 月(英文缩写) 年格式
    '%b %Y'       # 月(英文缩写) 年格式
]

for fmt in date_formats:
    # 只处理还未解析成功的行
    mask = df['date_parsed'].isna()
    df.loc[mask, 'date_parsed'] = pd.to_datetime(
        df.loc[mask, 'date'], 
        format=fmt, 
        errors='coerce'
    )

# 若不需要保留原始date列可直接覆盖：df['date'] = df.pop('date_parsed')

方案优势 #

• 处理速度快：全程使用pandas矢量化操作，千万行级数据处理仅需几秒，远高于逐行调用dateparser的速度
• 解析准确率高：指定固定格式解析不会出现日期乱填充的问题，%b %Y格式会默认解析为当月第一天，符合预期
• 无有效数据丢失：所有符合规则的日期都会被正确解析，仅无效字符串最终为NaT

内容的提问来源于stack exchange，提问作者Chris Dixon