求可检测Pandas DataFrame单元格日期格式的正则表达式

Hey Peter, 针对你需要检测Pandas DataFrame单元格是否符合2018-04-01T06:21:48+00:00这种带时区偏移的ISO 8601日期格式的需求，我整理了一套实用的方案，包括正则表达式本身和在Pandas中的具体使用方法：

1. 匹配目标格式的正则表达式 #

首先拆解你给出的日期格式结构：YYYY-MM-DDTHH:MM:SS±HH:MM，对应的正则表达式如下：

^\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}[+-]\d{2}:\d{2}$

我来逐个解释正则的关键部分：

• ^ 和 $：确保整个单元格字符串完全匹配，避免出现部分符合但整体格式不对的情况（比如字符串末尾多了无关字符）
• \d{4}-\d{2}-\d{2}：匹配4位年份、2位月份、2位日期的日期部分，比如2018-04-01
• T：匹配日期与时间之间的固定分隔符T
• \d{2}:\d{2}:\d{2}：匹配2位小时、2位分钟、2位秒的时间部分，比如06:21:48
• [+-]\d{2}:\d{2}：匹配时区偏移部分，支持+或-开头，后面跟着2位小时和2位分钟的偏移值，比如+00:00或-05:00

2. 在Pandas中应用正则检测 #

你可以直接用Pandas的str.match()方法快速批量检测单元格格式：

import pandas as pd

# 示例DataFrame，包含各种格式的日期字符串
df = pd.DataFrame({
    'datetime_col': [
        '2018-04-01T06:21:48+00:00',  # 符合格式
        '2023-12-31T23:59:59-08:00',  # 符合格式（带负时区偏移）
        '2024-02-30T10:00:00+00:00',  # 格式正确但日期无效（2月无30号）
        '2024/05/15T12:00:00+00:00',  # 日期分隔符错误，格式不匹配
        '2024-05-15 12:00:00+00:00',  # 用空格代替T，格式不匹配
        pd.NA  # 缺失值
    ]
})

# 应用正则检测格式是否合规
df['is_valid_format'] = df['datetime_col'].str.match(r'^\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}[+-]\d{2}:\d{2}$', na=False)

print(df)

运行这段代码后，is_valid_format列会返回布尔值，标记每个单元格的格式是否符合要求。这里的na=False是把缺失值标记为False，你可以根据需求改成na=True或者其他处理方式。

3. 进阶：同时验证格式和日期有效性 #

上面的正则只能检测格式是否正确，无法识别像2024-02-30这种格式合法但实际不存在的日期。如果需要同时验证日期的有效性，可以结合pd.to_datetime()的异常捕获：

def validate_datetime(s):
    try:
        # 指定格式解析，确保完全匹配目标格式
        pd.to_datetime(s, format='%Y-%m-%dT%H:%M:%S%z')
        return True
    except (ValueError, TypeError):
        # 解析失败则返回False
        return False

# 应用到DataFrame
df['is_valid_datetime'] = df['datetime_col'].apply(validate_datetime)

print(df)

这个方法会先验证格式，再验证日期是否真实存在，适合需要严格校验的场景。

内容的提问来源于stack exchange，提问作者Peterson Perez