Pandas 按ID分组筛选:仅保留每个ID的最后X条数据
Pandas 按ID分组筛选每组最新X条数据实现方案
核心需求
现有如下扁平结构的DataFrame,需要按ID分组,保留每个ID对应日期最新的X条数据,以X=2为例,需得到指定的筛选结果。
实现步骤
1. 预处理数据
首先将字符串格式的Date列转为datetime类型,再按日期升序排序,确保每个分组内的数据是从旧到新排列(避免后续取尾部时出现日期顺序错误):
# 转换日期类型 df['Date'] = pd.to_datetime(df['Date']) # 按日期升序排序,保留原行索引 df = df.sort_values(by='Date')
2. 分组取每组最后X条
直接对ID列做分组,调用tail(X)方法即可取出每个分组的最后X行,是当前场景下最简洁高效的实现:
# 筛选每个ID最新的2条数据,修改X的数值即可灵活调整保留条数 X = 2 result = df.groupby('ID').tail(X)
结果验证
运行上述代码后,得到的result和给定的期望输出完全一致:
Date ID A-1 A-2 A-3 A-4 3 2020-12-01 id1 4 8 6 6 4 2020-12-01 id3 1 2 3 9 5 2021-01-01 id1 2 2 2 7 6 2021-01-01 id2 9 7 10 9 7 2021-02-01 id2 1 5 9 1 8 2021-02-01 id3 10 2 5 1
注意事项
- 必须先完成日期转换和排序再取尾部,否则如果原数据顺序混乱,取到的结果不符合“最新X条”的预期
- 若需要筛选每组最旧的X条数据,将
tail(X)替换为head(X)即可 - 当某ID的总数据量不足X条时,会自动返回该ID的全部数据,不会报错
内容的提问来源于stack exchange,提问作者yahop19531
相关产品推荐
相关产品推荐

