You need to enable JavaScript to run this app. Pandas 如何基于多列分组使用shift()生成昨日值列
优惠活动
大模型
产品
解决方案
定价
更多

Pandas 如何基于多列分组使用shift()生成昨日值列

Pandas 分组取上一行值的高效实现方案

完全可以靠Pandas内置的向量化分组操作实现,全程不会碰无关列,就算是百万行规模的数据集也能保持很高的执行效率,具体实现逻辑非常简单:

实现步骤

  1. 先把顺序排对(很多人踩坑漏掉这步)
    毕竟我们要取的是按时间顺序的上一条记录值,得先保证整个表是按分组维度、日期升序排好的——不然原表乱序的话,移位拿到的根本不是日期靠前的记录,结果全错:
    # 按分组列+日期排序,顺手重置索引避免后续错位
    df = df.sort_values(['group1', 'group2', 'date']).reset_index(drop=True)
    
  2. 直接计算新列即可
    用group1和group2做分组,对val列调用shift(1)——这个方法本来就是设计来取分组内每一行的上一行元素的,分组内的第一行因为没有前置记录,会自动填充为NaN,最终输出和你给出的期望效果完全匹配:
    df['yesterday_val'] = df.groupby(['group1', 'group2'])['val'].shift(1)
    

为什么这个方案效率很高

  • 整个操作走的是Pandas底层C实现的向量化逻辑,不需要逐行循环,也不需要额外套一层apply调用栈,就算是千万行的大表也能在秒级完成计算
  • 计算过程只会用到group1、group2、date、val这几个必要列,像not_used这种和计算无关的列会原封不动保留,既不会被修改,也不会拖慢计算速度

几个常见踩坑提醒

  • 别把无关列丢进groupby的分组键里,不然本来属于同一分组的行会被拆得很细,算出来的移位结果完全错误
  • 别跳过排序步骤直接移位:如果原表的行顺序不是按日期排的,取到的“上一记录”可能是日期更靠后的行,完全不符合“取前一日值”的业务逻辑
  • 别写逐行遍历的循环逻辑来实现这个需求,这类写法在数据量变大之后性能会出现数量级的下降,完全没有必要

内容的提问来源于stack exchange,提问作者Tommy Do

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 10:06:03