如何用Pandas内置方法识别杂乱DataFrame中的类日期值？

Pandas没有完全通用的内置方法能自动识别所有格式/类型的类日期值，但可以通过组合pd.to_datetime、统计转换有效性，结合规则过滤来实现需求。

先分析你当前代码的问题 #

你用pd.to_datetime(data.stack(), errors='coerce').unstack()尝试批量转换，但结果里只有is_divergent_f列全非空，这是因为该列的int8类型值（0/1）被误解析为时间戳（对应1970-01-01及之后的秒数），并非真实的日期列；而其他object列转换成功率为0，是因为pd.to_datetime默认解析规则对非标准格式支持有限，且没有针对每列的特性做调整。

可行的解决方案 #

1. 按列检测日期转换有效性

遍历每一列，计算pd.to_datetime转换成功的比例，以此判断该列是否为疑似日期列：

import pandas as pd

def identify_date_candidates(df, threshold=0.8):
    date_candidates = []
    for col in df.columns:
        original_non_null = df[col].notna().sum()
        if original_non_null == 0:
            continue
        # 尝试转换，转换失败的设为NaN
        converted = pd.to_datetime(df[col], errors='coerce')
        # 计算原始非空值中转换成功的比例
        valid_ratio = converted.notna().sum() / original_non_null
        if valid_ratio >= threshold:
            date_candidates.append((col, valid_ratio))
    # 按转换成功率排序
    return sorted(date_candidates, key=lambda x: x[1], reverse=True)

# 调用函数，阈值可根据业务调整（比如0.8表示80%以上非空值能转成日期）
date_cols = identify_date_candidates(data)
print("疑似日期列：")
for col, ratio in date_cols:
    print(f"{col}: {ratio:.2%} 转换成功率")

2. 优化日期解析规则

如果某些列是自定义格式的日期（如dd.mm.yyyy、yyyy/dd/mm），可以指定format参数提高准确率；或者开启infer_datetime_format=True让Pandas自动推断格式（适合格式统一的列）：

# 针对特定列指定格式
converted_custom = pd.to_datetime(data['target_col'], format='%d.%m.%Y', errors='coerce')

# 开启自动推断格式（速度略快，适合格式统一的列）
converted_infer = pd.to_datetime(data['target_col'], infer_datetime_format=True, errors='coerce')

3. 排除误判的数值列

像is_divergent_f这类业务标识类的小数值列，会被误解析为时间戳，可以通过值范围过滤：

def identify_date_candidates(df, threshold=0.8, num_value_threshold=100):
    date_candidates = []
    for col in df.columns:
        # 排除小数值的数值列（避免把业务标识误判为日期）
        if pd.api.types.is_numeric_dtype(df[col]):
            if df[col].max() <= num_value_threshold:
                continue
        original_non_null = df[col].notna().sum()
        if original_non_null == 0:
            continue
        converted = pd.to_datetime(df[col], errors='coerce')
        valid_ratio = converted.notna().sum() / original_non_null
        if valid_ratio >= threshold:
            date_candidates.append((col, valid_ratio))
    return sorted(date_candidates, key=lambda x: x[1], reverse=True)

内容的提问来源于stack exchange，提问作者Viktor