pandas groupby求pm25均值后Date列不可调用及日期排序异常问题

一、KeyError: 'Date' 报错解决 #

• 结构改变的核心逻辑偏差：
  df.groupby('Date').mean('pm25')本身不会原地修改原DataFrame，它只会返回一个全新的聚合结果对象。如果没有将这个结果赋值给df变量，原df的列结构完全不会变化，不可能出现'Date'列访问报错的问题。你遇到结构改变，本质是写了df = df.groupby('Date').mean('pm25')，将聚合结果覆盖给了原df变量；这种写法下pandas会默认将分组键（'Date'列）设为返回结果的行索引，不再作为普通列存在，此时执行df['Date']自然会触发KeyError。
• 附带的参数使用错误：
  你传入'pm25'给mean()方法本身是无效写法。mean()的第一个位置参数是控制聚合方向的axis，传入列名字符串不会实现“仅对pm25列求均值”的效果，反而会触发参数不匹配警告，甚至会对所有数值列执行均值聚合。
• 正确的聚合实现写法（两种可选，都能保证'Date'为可访问的普通列）：
  • 分组时关闭分组键索引化

    # as_index=False 让分组键保留为普通列，直接选取pm25列聚合
    agg_df = df.groupby('Date', as_index=False)['pm25'].mean()
    

  • 聚合后将索引还原为普通列

    # 先对pm25列求均值，再通过reset_index把行索引转回普通列
    agg_df = df.groupby('Date')['pm25'].mean().reset_index()
    

二、字典序排序异常的解决 #

• 排序异常的核心原因：
  当前的'Date'列是字符串类型，没有被转换为pandas可识别的datetime时间类型。字符串排序会按照逐字符的ASCII顺序比较，因此才会出现1/1/19排在1/2/19前面、1/10/19排在1/2/19前面的字典序结果，完全不符合自然时间顺序。
• 修复步骤：
  1. 分组聚合前，先将字符串格式的Date列转换为标准datetime类型

     # 自动识别常见日期格式，完成类型转换
     df['Date'] = pd.to_datetime(df['Date'])
     

     如果遇到自动识别失败的情况，可以手动指定解析规则提升准确率：

     df['Date'] = pd.to_datetime(df['Date'], format='%m/%d/%y')
     

  2. 分组聚合后，按转换后的Date列排序即可得到自然时间顺序的结果

     agg_df = df.groupby('Date', as_index=False)['pm25'].mean().sort_values('Date')
     

内容的提问来源于stack exchange，提问作者Scott