Pandas基于前一行条件的列值传递：求高效实现（支持向量化）

针对你用Pandas 0.19.2处理大型DataFrame时，需要按条件将前一行处理后的值传递到当前行的需求，我来分享几个比双重iterrows循环高效得多的方法——毕竟iterrows在处理大数据时简直是性能杀手。

首先得明确：你的需求是状态依赖的（每一行的处理结果会影响下一行的判断），这种操作没法用完全的向量化方法直接实现（因为Pandas的向量化函数比如shift只能获取原始的前一行值，而非处理后的值），但我们可以通过优化循环的方式大幅提升效率。

方法1：用Numpy数组逐列处理（速度提升10-100倍） #

原循环的最大问题是用了iterrows()，这会产生大量Pandas行对象，开销极大。我们可以把每一列转换成Numpy数组，直接操作数组做循环，内存访问更高效，速度会快很多。

代码实现：

import pandas as pd
import numpy as np

np.random.seed(10)
df = pd.DataFrame(np.random.uniform(low=-0.2, high=0.2, size=(10,2) ))
print("原始数据：")
print(df)

def process_column(arr):
    prev_val = arr[0]
    for i in range(1, len(arr)):
        # 判断当前值是否在prev_val的0.5-1.5倍区间内
        if 0.5 * prev_val <= arr[i] <= 1.5 * prev_val:
            arr[i] = prev_val
        # 更新prev_val为当前行的最终值（可能是原始值或替换后的值）
        prev_val = arr[i]
    return arr

# 对每一列应用处理函数
df_processed = df.apply(process_column, axis=0)

print("\n处理后数据：")
print(df_processed)

这个逻辑和你的原代码完全一致，但因为直接操作Numpy数组，避免了iterrows的额外开销，处理大型DataFrame时会明显更快。

方法2：用Numba编译函数（速度再提升10-100倍） #

如果你的环境允许安装第三方库，numba可以把处理列的函数编译成机器码，对于百万级别的行，效率会比纯Python循环高几百倍。

首先安装兼容Pandas 0.19.2的Numba版本（比如0.51.2，太新的版本可能不兼容旧版Pandas）：

pip install numba==0.51.2

然后修改代码：

from numba import jit

# 用numba编译函数，nopython=True表示完全脱离Python解释器运行
@jit(nopython=True)
def process_column_numba(arr):
    prev_val = arr[0]
    for i in range(1, len(arr)):
        if 0.5 * prev_val <= arr[i] <= 1.5 * prev_val:
            arr[i] = prev_val
        prev_val = arr[i]
    return arr

# 对每一列应用编译后的函数
df_processed = df.apply(lambda col: process_column_numba(col.to_numpy()), axis=0)

这个方法在处理超大型数据集时优势非常明显，几乎能达到C语言级别的速度。

为什么没法用完全向量化？ #

再解释下为什么不能用普通的向量化方法：你的判断依赖的是上一行处理后的值，而不是原始的前一行值。比如假设第2行被替换成第1行的值，那么第3行的判断必须用第2行替换后的值，而不是原始的第2行值。这种顺序依赖的操作必须按行依次处理，没法用批量的向量化操作直接实现。

结果验证 #

运行上面的代码，你会得到和原代码完全一致的输出：

0         1
0  0.108528 -0.191699
1  0.053459  0.099522
2 -0.000597 -0.110081
3 -0.120775  0.104212
4 -0.132356 -0.164664
5  0.074144  0.181357
6 -0.198421  0.004877
7  0.125048  0.045010
8  0.125048 -0.083250
9  0.125048  0.085830

内容的提问来源于stack exchange，提问作者Zhubarb