如何用Pandas高效实现基于前一行计算当前行v3值？

嘿，这个递推计算v3的问题我熟！因为v3的取值依赖前一行的结果，属于带状态的逐行计算，普通的Pandas向量化操作直接搞不定，得用迭代或者专门的加速方法。下面给你两种靠谱的实现方式，按需选择：

先构造示例DataFrame #

首先我们先把题目里的示例数据搭出来：

import pandas as pd

df = pd.DataFrame(
    {'v1': [1,5,7,9,5],
     'v2': [2,6,3,4,1]},
    index=[0,1,2,3,4]
)

方法一：纯Pandas迭代（简单直观，适合中小数据集） #

这种方法完全贴合你的规则逻辑，写起来好理解，调试也方便：

# 初始化v3列，第一行的v3直接等于v2
df['v3'] = df['v2']

# 从第二行开始逐行计算
for idx in range(1, len(df)):
    # 获取前一行的v1和v3，当前行的v2
    prev_v1 = df.loc[idx-1, 'v1']
    prev_v3 = df.loc[idx-1, 'v3']
    current_v2 = df.loc[idx, 'v2']
    
    # 按照规则判断赋值
    if prev_v1 > prev_v3:
        df.loc[idx, 'v3'] = max(current_v2, prev_v3)
    else:
        df.loc[idx, 'v3'] = current_v2

方法二：Numba加速（高效处理大数据集） #

如果你的数据集很大（比如几十万行以上），纯Python循环会有点慢，这时候用Numba把循环编译成机器码，速度能提升几十倍：
首先得先安装Numba：pip install numba

然后写代码：

import numba
import numpy as np

# 把DataFrame的列转成numpy数组，方便Numba处理
v1 = df['v1'].values
v2 = df['v2'].values
v3 = np.zeros_like(v2)

# 初始化第一行的v3
v3[0] = v2[0]

# 用Numba的装饰器加速递推函数
@numba.jit(nopython=True)
def compute_v3(v1_arr, v2_arr, v3_arr):
    for i in range(1, len(v1_arr)):
        if v1_arr[i-1] > v3_arr[i-1]:
            v3_arr[i] = max(v2_arr[i], v3_arr[i-1])
        else:
            v3_arr[i] = v2_arr[i]
    return v3_arr

# 计算v3并赋值回DataFrame
df['v3'] = compute_v3(v1, v2, v3)

验证结果 #

两种方法运行后，都会得到你期望的输出：

v1  v2  v3
0   1   2   2
1   5   6   6
2   7   3   3
3   9   4   4
4   5   1   4

补充说明 #

为什么不能用Pandas的向量化操作直接处理？因为v3的每一行都依赖前一行的v3结果，而向量化操作是并行处理所有行，没办法处理这种递推依赖，所以迭代是必须的，只是可以通过工具来提升效率。

内容的提问来源于stack exchange，提问作者Into Numbers