Pandas DataFrame 多指定日期格式的严格校验与补全方法

完全可以基于现有pd.to_datetime的能力实现需求，不需要更换技术栈，只需要补上前置白名单格式校验环节，解决pandas内置解析逻辑自带的宽松推断缺陷。

现有方案的缺陷根源 #

之前使用pd.to_datetime(df['DATE'], format='%Y-%m-%d %H:%M:%S', errors='coerce')时，没有做前置的字符串格式拦截，pandas在解析过程中会自动对短格式字符串（如仅含年份、年月的"2020"、"2020-11"）做自动补全，不会直接判定为无效值，最终导致误判。

具体实现逻辑 #

整体分为两层校验，既保证严格拦截不合规值，又保留自动补全时间位的能力：

• 第一层：用正则表达式做硬性格式白名单校验，从源头拦截不满足「必须包含完整YYYY-MM-DD结构」的所有值
  匹配规则完全对应指定的4类允许格式：
  1. 核心强制要求：必须以四位年-两位月-两位日开头，从根源上排除仅含年、仅含年月的短格式值
  2. 后续时间部分为可选项，支持匹配4种时间分支：
     • 完整时分秒（秒支持带小数位）
     • 小时+分钟
     • 仅小时
     • 无任何时间部分
       对应的校验正则为：^(\d{4}-\d{2}-\d{2})( \d{1,2}(:\d{2})?(:\d{2}(\.\d+)?)?)?$
• 第二层：对通过正则校验的字符串，再调用pd.to_datetime做解析
  这一步既可以自动按规则补全缺失的时间位（缺小时补0分0秒、缺分钟补0秒），又可以兜底拦截正则无法识别的非法日期（如月份为13、2月30日这类结构对但实际不成立的日期）。

可直接复用的代码示例 #

import pandas as pd
import re

# 初始化白名单正则校验规则
date_validator = re.compile(r'^(\d{4}-\d{2}-\d{2})( \d{1,2}(:\d{2})?(:\d{2}(\.\d+)?)?)?$')

# 构造测试DataFrame
df = pd.DataFrame({
    'DATE': [
        '2020-11-28 12',        # 合规：仅带小时
        '2020-12-18 22:31',     # 合规：带小时+分钟
        '2023-10-01 10:20:30',  # 合规：完整时分秒
        '2023-10-01 10:20:30.456', # 合规：带毫秒的秒值
        '2023-05-20',           # 合规：纯日期
        '2020',                 # 不合规：仅含年份
        '2020-11',              # 不合规：仅含年月
        '2023/10/01',           # 不合规：分隔符错误
        '2023-13-01',           # 不合规：月份值无效
    ]
})

# 生成合规值掩码
is_format_valid = df['DATE'].astype(str).str.match(date_validator)

# 初始化解析结果列，仅对合规格式值做日期转换
df['PARSED_DATE'] = pd.NaT
df.loc[is_format_valid, 'PARSED_DATE'] = pd.to_datetime(
    df.loc[is_format_valid, 'DATE'],
    errors='coerce'
)

方案效果说明 #

• 所有不满足白名单规则的值（如仅含年、仅含年月、分隔符错误的字符串）会直接被标记为无效，不会被pandas宽松解析为合法日期
• 所有通过校验的值会自动完成时间位补全，例如"2020-11-28 12"会自动补为"2020-11-28 12:00:00"、"2020-12-18 22:31"会补为"2020-12-18 22:31:00"，完全匹配需求
• 可根据实际规则调整正则细节，例如严格要求小时必须为两位时，将正则中\d{1,2}替换为\d{2}即可。

内容的提问来源于stack exchange，提问作者divij_o