Python模拟在线决策性能优化及DataFrame行操作提速咨询

当前问题：遍历DataFrame行做决策时速度极慢 #

嘿，看你的代码就知道，200万行的循环用iloc[t]取单行肯定慢到离谱——Python循环本身开销就高，每次提取Series对象还会额外增加负担。给你几个针对性的优化方案：

1. 优先用向量化操作替代循环 #

如果你的决策逻辑能通过pandas内置函数实现，这是最快的路径。比如依赖当前行和前几行数据时，用shift()获取滞后值，然后批量计算：

# 示例：基于当前s1和前一行s2做决策
time_series['prev_s2'] = time_series['s2'].shift(1)
time_series['decision'] = np.where(time_series['s1'] > time_series['prev_s2'], 'action', 'hold')

向量化操作把循环交给底层C语言处理，速度能提升几个数量级。

2. 用itertuples()或numpy数组加速遍历 #

如果必须用循环，别再用iloc[t]了，试试这两种方式：

• 用itertuples()返回命名元组，比Series更轻量：

for curr_data in time_series.itertuples(index=False):
    s1_val = curr_data.s1
    s2_val = curr_data.s2
    # 执行你的决策逻辑

• 转成numpy数组直接遍历，访问速度更快：

arr = time_series.to_numpy()
for row in arr[1:-1]:  # 对应你原来的range(1, n-1)
    s1_val, s2_val = row
    # 执行你的决策逻辑

3. 滚动窗口（Rolling Window）处理 #

如果核心需求是“保留最后n行并基于这些行决策”，用pandas的rolling()窗口更合适：

window_size = 5  # 假设要保留最后5行
# 用内置聚合函数直接计算（最快）
rolling_stats = time_series.rolling(window=window_size).mean()
# 自定义逻辑的话，尽量用向量化写法放在apply里
def custom_decision(window_data):
    return window_data['s1'].mean() > window_data['s2'].mean()

time_series['decision'] = time_series.rolling(window=window_size).apply(custom_decision, raw=False)

旧版本问题：循环删除首行并添加新行的最快方法 #

每次删DataFrame首行是**O(n)**操作（要移动所有后续行），数据量大时完全不可行。最优解是用collections.deque设置最大长度，实现自动滚动的窗口：

from collections import deque

# 设置窗口最大长度为你需要保留的行数
window = deque(maxlen=100)

# 初始化窗口
for row in time_series.itertuples(index=False):
    window.append(row)
    # 窗口满了之后就可以基于内部数据决策
    if len(window) == window.maxlen:
        # 执行决策逻辑
        pass

# 后续加新行直接append，deque会自动弹出最老的行
new_row = (0.5, -0.3)  # 对应s1和s2的新值
window.append(new_row)

deque的append和自动弹出都是**O(1)**操作，性能碾压DataFrame的删行加行。需要转回DataFrame的话：

window_df = pd.DataFrame(window, columns=['s1', 's2'])

内容的提问来源于stack exchange，提问作者Roy