如何加速Pandas DataFrame中依赖前序行的循环计算？

你的问题核心是Python循环逐行操作DataFrame导致效率低下——Pandas和Numpy的设计初衷就是用向量化操作替代逐行循环，后者在数据量较大时会产生巨大的性能开销。

优化方案：利用Numpy累积乘积实现向量化计算 #

观察你的计算逻辑：

• 首行op_ol[0] = calc[0][0]
• 后续行op_ol[i] = op_ol[i-1] * calc[0][i-1]（若op_ol[i-1]≠0，否则为0）

这个逻辑可以转化为构造特定系数数组后计算累积乘积，而Numpy的np.cumprod是C实现的向量化操作，速度比Python循环快几个数量级。

优化后的代码：

import pandas as pd
import numpy as np

# 生成测试数据
calc = pd.DataFrame(np.random.binomial(n=10, p=0.2, size=(5,1)))
x = calc[0].values

# 构造累积乘积的系数数组：首元素为x[0]，后续为x的前n-1个元素
coeffs = np.concatenate([[x[0]], x[:-1]])

# 计算累积乘积，自动实现"遇0后后续全为0"的逻辑
calc['op_ol'] = np.cumprod(coeffs)

为什么这个方案有效？ #

• np.cumprod会对数组进行连续乘积计算，一旦中间出现0，后续所有乘积结果都会保持为0，完全匹配你原代码中"前一行为0则当前行也为0"的逻辑。
• 向量化操作避免了Python循环的逐行索引、赋值开销，处理100万行数据的时间从分钟级压缩到毫秒级。

验证正确性 #

举个具体例子：
假设calc[0] = [2, 3, 0, 4, 5]

• 构造的系数数组为[2, 2, 3, 0, 4]
• 累积乘积结果为[2, 4, 12, 0, 0]，和原循环的计算结果完全一致。

内容的提问来源于stack exchange，提问作者Dejan Skolegi