如何高效筛选Pandas中1980至今的有效日期并删除无效行？

嘿，这个需求我之前做数据分析的时候碰到过，给你两种高效的实现思路，分别适配不同的场景：

因为你的date列是整数格式的YYYYMMDD，直接用数值范围筛选是最快的——Pandas对整数运算的优化非常好，适合处理大规模数据集。步骤如下：

1. 先定义日期范围的上下限（整数格式）：

   import pandas as pd
   
   # 起始日期：1980年1月1日
   start_date = 19800101
   # 结束日期：当前日期，转成YYYYMMDD格式的整数
   end_date = int(pd.Timestamp.now().strftime("%Y%m%d"))
   

2. 筛选出在范围内的行：

   df_range_filtered = df[(df['date'] >= start_date) & (df['date'] <= end_date)]
   

3. 转换为日期格式并清理无效日期（比如11月31号、2月30号这种非法日期）：

   # 先转字符串，确保pd.to_datetime能正确识别格式
   df_range_filtered['date'] = pd.to_datetime(
       df_range_filtered['date'].astype(str),
       format='%Y%m%d',
       errors='coerce'  # 把无效日期转成NaT（Not a Time）
   )
   # 删掉包含无效日期的行
   df_final = df_range_filtered.dropna(subset=['date'])
   

这种方法的优势是速度快，尤其是当你的数据集有几十万甚至上百万行的时候，数值筛选比字符串匹配快得多。

如果你的date列里有大量明显格式错误的值（比如20111512这种月份为15的），可以先用正则表达式先过滤掉这些无效格式，再处理日期范围和有效性：

1. 动态生成匹配1980年至当前年的合法日期格式的正则：

   current_year = pd.Timestamp.now().year
   # 生成年份匹配规则：1980-当前年
   year_part = f'198[0-9]|199[0-9]|20[0-1][0-9]|20{str(current_year)[2:]}' if current_year >= 2020 else f'198[0-9]|199[0-9]|20[0-{str(current_year)[2]}][0-9]'
   # 完整正则：匹配YYYYMMDD，其中月份01-12，日期01-31
   date_pattern = fr'^({year_part})(0[1-9]|1[0-2])(0[1-9]|[12][0-9]|3[01])$'
   

2. 筛选格式合法的行：

   df_format_valid = df[df['date'].astype(str).str.match(date_pattern)]
   

3. 转换为日期格式并清理剩余的无效日期：

   df_format_valid['date'] = pd.to_datetime(
       df_format_valid['date'].astype(str),
       format='%Y%m%d',
       errors='coerce'
   )
   df_final = df_format_valid.dropna(subset=['date'])
   

注意：正则只能过滤掉格式明显错误的日期（比如月份>12、日期>31），但没法识别像2月30号、4月31号这种逻辑上的无效日期，所以最后还是需要用pd.to_datetime配合errors='coerce'来清理。

• 如果你的数据集格式相对规范，只是需要筛选日期范围，优先用方法一，速度更快；
• 如果你的数据集里有大量格式混乱的值，先用方法二预筛选，可以减少后续pd.to_datetime的处理量，提升整体效率。

内容的提问来源于stack exchange，提问作者Sociopath