如何高效实现Pandas DataFrame基于前一行两列计算当前行值？

嘿，我太懂你这种困扰了——用iloc循环处理十万行以上的DataFrame时，那速度慢得让人想砸键盘；而lambda配合apply又没法同时拿到当前行和前一行的多列数据，完全满足不了需求对吧？别慌，咱们用Pandas的矢量化操作就能完美解决，这可是处理大数据量的最优方案！

核心思路：用shift()实现跨行对齐 #

Pandas的shift()方法可以把整个列（或整个DataFrame）向下偏移指定行数，这样原列和偏移后的列就能直接做元素级运算，全程不需要Python层面的循环，底层是C实现的，速度快到飞起。

示例演示 #

假设我们有一个包含10万+行的DataFrame，有a、b两列，需要计算每行的目标值（比如当前行b减前一行b，加上当前行a减前一行a）：

1. 构造测试数据

import pandas as pd
import numpy as np

# 生成10万行测试数据
df = pd.DataFrame({
    'a': np.random.randn(100000),
    'b': np.random.randn(100000)
})

2. 获取前一行的对应列

用shift(1)把所有行向下偏移1行，这样prev_df的第n行就是原df的第n-1行：

prev_df = df.shift(1)

3. 计算目标值

直接对原列和偏移后的列做元素级运算，一步生成目标列：

# 简单逻辑：(当前b - 前一行b) + (当前a - 前一行a)
df['target'] = (df['b'] - prev_df['b']) + (df['a'] - prev_df['a'])

4. 处理复杂逻辑（可选）

如果你的目标值需要满足特定条件（比如仅当当前行a和b都大于前一行对应值时才计算差值，否则设为0），可以用np.where做矢量化判断：

# 定义判断条件
condition = (df['a'] > prev_df['a']) & (df['b'] > prev_df['b'])
# 按条件计算目标值
df['target'] = np.where(condition, (df['b'] - prev_df['b']) + (df['a'] - prev_df['a']), 0)

为什么这个方法比iloc/lambda快？ #

• iloc循环是逐行遍历，每次都要做Python层面的索引取值，对于10万+行的数据，循环开销极大；
• apply配合lambda本质上还是行级循环，而且无法同时获取当前行和前一行的多列数据，灵活性和效率都不行；
• 矢量化操作是底层用C实现的批量运算，完全避开了Python循环的开销，处理百万行数据都是秒级完成。

注意事项 #

• 第一行没有前一行，所以shift()后第一行的结果是NaN，如果需要给第一行设置默认值，可以用df['target'] = df['target'].fillna(0)；
• 确保你的DataFrame已经按业务需要的顺序排序，shift()是严格按行的物理顺序偏移的，顺序错误会导致结果完全不对。

内容的提问来源于stack exchange，提问作者Samesand