DataFrame多格式日期转YYYY-MM-DD且缺省日设为月末的实现方法

实现思路 #

• 首先遍历DataFrame所有字符串类型（object dtype）的列，自动识别符合目标格式的日期列
• 对DD-MMM-YYYY格式的日期列，直接用pandas内置的日期转换方法解析
• 对MMM-YY格式的月份列，先解析为当月第一天，再通过月份偏移量取当月最后一天
• 所有日期统一输出为YYYY-MM-DD格式

完整实现代码 #

import pandas as pd
from pandas.tseries.offsets import MonthEnd

def convert_all_date_cols(df):
    # 遍历所有字符串类型列
    for col in df.select_dtypes(include='object').columns:
        # 先尝试匹配 DD-MMM-YYYY 格式
        date_format1 = "%d-%b-%Y"
        converted1 = pd.to_datetime(df[col], format=date_format1, errors='coerce')
        # 非空占比超过80%则判定为该格式的日期列
        if converted1.notna().mean() > 0.8:
            df[col] = converted1.dt.strftime("%Y-%m-%d")
            continue
        # 尝试匹配 MMM-YY 格式
        date_format2 = "%b-%y"
        converted2 = pd.to_datetime(df[col], format=date_format2, errors='coerce')
        if converted2.notna().mean() > 0.8:
            # 偏移到当月最后一天
            df[col] = (converted2 + MonthEnd(1)).dt.strftime("%Y-%m-%d")
            continue
    return df

# 测试示例
if __name__ == "__main__":
    # 构造输入数据
    data = {
        "empno": [1],
        "ename": ["sreenu"],
        "hiredate": ["17-Jun-2021"],
        "end_date": ["May-22"]
    }
    df = pd.DataFrame(data)
    # 执行转换
    df = convert_all_date_cols(df)
    print(df)

输出结果 #

empno   ename    hiredate   end_date
0      1  sreenu  2021-06-17 2022-05-31

注意事项 #

• 如果运行环境默认locale不是英文，无法识别英文月份缩写，可以在代码开头添加如下配置：

import locale
locale.setlocale(locale.LC_TIME, 'en_US.UTF-8')

• 如果需要保留datetime类型而不是字符串格式，删除代码中的.dt.strftime("%Y-%m-%d")部分即可
• 判定阈值0.8可根据实际数据情况调整，避免误把普通字符串列判定为日期列

内容的提问来源于stack exchange，提问作者user16084293