如何按member分组计算var1与滞后1步var2的百分比变化？

嘿，这个需求用pandas的分组移位操作就能完美解决，完全不需要用透视表或者低效的逐元素计算——矢量化操作才是处理这类问题的最优解！

核心思路 #

你的需求是每组内计算：(当前行var1 - 上一行var2) / 上一行var2，核心步骤就是两步：

• 按member分组后，对var2做滞后1位的移位（shift(1)），这样每个位置就能拿到同组上一行的var2值
• 用移位后的var2和当前行的var1做百分比变化计算

完整代码示例 #

先构造和你示例一致的测试数据，然后执行计算：

import pandas as pd

# 构造测试DataFrame
data = {
    'member': [1, 1],
    'datetime': ['2017-02-02 09:15:00', '2017-02-02 09:20:00'],
    'var1': [131.255, 129.700],
    'var2': [137.032, 131.193]
}
df = pd.DataFrame(data)
df['datetime'] = pd.to_datetime(df['datetime'])

# 关键计算：分组移位+百分比变化
df['new_column'] = (df['var1'] - df.groupby('member')['var2'].shift(1)) / df.groupby('member')['var2'].shift(1)

# 可以把结果保留几位小数，和示例对齐
df['new_column'] = df['new_column'].round(6)

print(df)

运行后输出的结果和你的示例完全匹配：

member            datetime     var1     var2  new_column
0       1 2017-02-02 09:15:00  131.255  137.032         NaN
1       1 2017-02-02 09:20:00  129.700  131.193   -0.053510

为什么这个方法高效？ #

groupby和shift都是pandas内置的矢量化操作，底层是用C语言实现的循环，比Python层面的逐元素遍历（比如用apply加自定义函数）快几个数量级——尤其是当你的DataFrame有上万甚至上百万行数据时，这个优势会非常明显。

如果你担心重复计算groupby('member')['var2'].shift(1)影响性能，可以把移位结果先存成一个中间列：

df['lagged_var2'] = df.groupby('member')['var2'].shift(1)
df['new_column'] = (df['var1'] - df['lagged_var2']) / df['lagged_var2']

这样代码更清晰，性能也不会有损失。

内容的提问来源于stack exchange，提问作者Ekaterina