如何用公式替换Python中依赖前值的循环，提升大数据处理效率

这问题我太懂了！用Python循环逐行处理pandas DataFrame，小数据集还好，一旦数据量上去，速度会慢到崩溃——因为每次iloc[x]都是单独的Python层面操作，完全没利用pandas的向量化优势。咱们直接用pandas内置方法搞定，效率提升不止一个档次！

需求拆解 #

你的核心逻辑其实很清晰：

• 当days from new low等于0时，q列取当前行的RSI on new low值
• 否则，q列继承上一行的q值

本质就是只在days from new low=0的位置更新q的值，其余位置向前填充最近的有效更新值。

高效实现代码 #

直接用where结合ffill()（向前填充）就能一步到位，完全不需要循环：

import numpy as np
import pandas as pd

# 读取数据（和你原来的代码一致）
csv1 = pd.read_csv('stock_price.csv', delimiter=',')
df = pd.DataFrame(csv1)

# 核心逻辑：用where保留days=0的RSI值，其余设为NaN，再向前填充
df['q'] = df['RSI on new low'].where(df['days from new low'] == 0).ffill()

代码细节解释 #

1. where()函数：它会保留满足条件（days from new low == 0）的RSI on new low值，不满足条件的位置自动设为NaN。
2. ffill()函数：全称forward fill，会把每一个NaN替换成它上方最近的非NaN值——刚好对应你需求里"取前一行q值"的逻辑。

验证效果 #

用你给出的输入数据测试，得到的q列和预期输出完全匹配：

RSI on new low,days from new low,q
29.6,0,29.6
29.6,1,29.6
29.6,2,29.6
29.6,3,29.6
29.6,4,29.6
21.7,0,21.7
21.7,1,21.7
...（后续行均符合预期）

为什么这个方法更快？ #

pandas的where和ffill都是向量化操作，底层由C语言实现，不需要在Python层面逐行循环，处理百万级别的数据也能秒出结果，比你原来的循环效率提升几十甚至上百倍。

内容的提问来源于stack exchange，提问作者pythonlearner13