如何解析Pandas DataFrame中格式混乱的入住日期列？

我之前处理过类似的混乱日期数据集，用Python的dateutil库配合Pandas就能完美解决这个问题，给你一套实用的解决方案：

1. 先安装必要依赖 #

首先确保你安装了python-dateutil和pandas（如果还没装的话）：

pip install python-dateutil pandas

2. 自定义日期解析函数 #

写一个专门的函数来处理各种情况：过滤不需要解析的自由文本，自动识别多种日期格式，缺失具体日期时默认取当月1日：

import pandas as pd
from dateutil.parser import parse
from dateutil.parser._parser import ParserError

def parse_confusing_dates(date_str):
    # 定义需要忽略的自由文本（可根据实际情况扩展）
    ignore_list = ["now", "custom agreement"]
    
    # 先处理字符串类型的忽略项
    if isinstance(date_str, str):
        cleaned_str = date_str.strip().lower()
        if cleaned_str in [item.lower() for item in ignore_list]:
            return pd.NaT  # 返回Pandas专属的空时间值
    
    try:
        # 核心：用dateutil.parser自动识别各种日期格式
        # default参数确保缺失日的日期默认取当月1日
        parsed_date = parse(
            date_str,
            default=pd.Timestamp("2000-01-01").replace(day=1),
            # 如果你的数据集里日在前的格式更多，可以加上dayfirst=True
            # dayfirst=True
        )
        # 统一返回标准日期对象（或直接返回datetime类型）
        return parsed_date.date()
    except ParserError:
        # 其他无法解析的内容返回空值
        return pd.NaT

3. 应用到你的DataFrame #

假设你的数据集存在df里，日期列名为check_in_date，直接用apply方法批量处理：

# 生成解析后的新列
df["parsed_check_in_date"] = df["check_in_date"].apply(parse_confusing_dates)

# 可选：将新列转换为Pandas datetime类型，方便后续时间操作
df["parsed_check_in_date"] = pd.to_datetime(df["parsed_check_in_date"])

关键说明 #

• 自动识别多种格式：dateutil.parser.parse能轻松处理你提到的所有格式，包括"01.06.2018"、"September 2017"、"01. Februrary 2017"、"2017-09-01"，完全不用手动写正则或格式匹配规则。
• 缺失日期补全：通过default参数设置默认日为1，确保像"September 2017"这样的字符串会被解析为2017-09-01。
• 过滤无效文本：提前过滤掉"now"、"custom agreement"这类不需要解析的内容，避免解析错误。
• 空值处理：返回pd.NaT而不是普通NaN，更适合Pandas的时间序列操作。

优化建议 #

• 如果你的数据集里有明确的日期格式优先级（比如大部分是日在前的格式），可以在parse函数里加上dayfirst=True参数，提升解析准确性。
• 可以根据实际业务需求扩展ignore_list，加入其他不需要解析的自由文本。
• 解析完成后，可以用df.dropna(subset=["parsed_check_in_date"])过滤掉无法解析的行，或者根据需求填充默认值。

内容的提问来源于stack exchange，提问作者Ogofo