Pandas 如何基于多列分组使用shift()生成昨日值列
Pandas 分组取上一行值的高效实现方案
完全可以靠Pandas内置的向量化分组操作实现,全程不会碰无关列,就算是百万行规模的数据集也能保持很高的执行效率,具体实现逻辑非常简单:
实现步骤
- 先把顺序排对(很多人踩坑漏掉这步)
毕竟我们要取的是按时间顺序的上一条记录值,得先保证整个表是按分组维度、日期升序排好的——不然原表乱序的话,移位拿到的根本不是日期靠前的记录,结果全错:# 按分组列+日期排序,顺手重置索引避免后续错位 df = df.sort_values(['group1', 'group2', 'date']).reset_index(drop=True) - 直接计算新列即可
用group1和group2做分组,对val列调用shift(1)——这个方法本来就是设计来取分组内每一行的上一行元素的,分组内的第一行因为没有前置记录,会自动填充为NaN,最终输出和你给出的期望效果完全匹配:df['yesterday_val'] = df.groupby(['group1', 'group2'])['val'].shift(1)
为什么这个方案效率很高
- 整个操作走的是Pandas底层C实现的向量化逻辑,不需要逐行循环,也不需要额外套一层apply调用栈,就算是千万行的大表也能在秒级完成计算
- 计算过程只会用到
group1、group2、date、val这几个必要列,像not_used这种和计算无关的列会原封不动保留,既不会被修改,也不会拖慢计算速度
几个常见踩坑提醒
- 别把无关列丢进groupby的分组键里,不然本来属于同一分组的行会被拆得很细,算出来的移位结果完全错误
- 别跳过排序步骤直接移位:如果原表的行顺序不是按日期排的,取到的“上一记录”可能是日期更靠后的行,完全不符合“取前一日值”的业务逻辑
- 别写逐行遍历的循环逻辑来实现这个需求,这类写法在数据量变大之后性能会出现数量级的下降,完全没有必要
内容的提问来源于stack exchange,提问作者Tommy Do
相关产品推荐
相关产品推荐

