如何优化Python中依赖DataFrame前序更新值的信号列for循环

原问题场景 #

原代码先通过两组条件初始化signal列：满足条件设为1/-1，否则为0；之后用for循环逐行判断——如果当前行signal为0、前一行signal非零，且当前行ind_1为0，就把当前行signal设为前一行的signal值（该值可能已被循环更新）。现在需要替换这个低效的逐行循环，用更高效的向量化方法实现相同逻辑。

原代码 #

import numpy as np
import pandas as pd

# 假设threshold已定义，df为目标DataFrame
df['signal'] = np.where(np.logical_and(df['ind_1'] == 1, df['ind_2'] <= threshold), 1, 0)
df['signal'] = np.where(np.logical_and(df['ind_1'] == -1, df['ind_2'] >= 100 - threshold), -1, df['signal'])
for i in range(1, len(df)):
    if df.at[i, 'signal'] == 0 and df.at[i - 1, 'signal'] != 0:
        if df.at[i, 'ind_1'] == 0:
            df.at[i, 'signal'] = df.at[i - 1, 'signal']

高效解决方案 #

核心思路：原循环的本质是在连续的符合条件的行中，向前填充非零的signal值——只有当当前行ind_1为0、且处于某个非零signal的延续区间时，才继承前一行的值。我们可以通过分组+向前填充（ffill）实现向量化操作，彻底避免循环。

实现代码

import numpy as np
import pandas as pd

# 1. 保留原有的signal初始化逻辑
df['signal'] = np.where(np.logical_and(df['ind_1'] == 1, df['ind_2'] <= threshold), 1, 0)
df['signal'] = np.where(np.logical_and(df['ind_1'] == -1, df['ind_2'] >= 100 - threshold), -1, df['signal'])

# 2. 创建分组标记：当遇到非零signal 或 ind_1不为0时，开启新分组
# 这样同一延续区间的行会被分到同一个组里
df['group'] = (df['signal'] != 0) | (df['ind_1'] != 0)
df['group'] = df['group'].cumsum()

# 3. 对每个分组内的signal执行向前填充，实现递推更新
df['signal'] = df.groupby('group')['signal'].ffill()

# 4. 清理临时分组列（可选）
df.drop('group', axis=1, inplace=True)

逻辑说明

• 分组标记的作用：把所有需要延续非零signal的行归为同一组，一旦遇到ind_1不为0（不能继承）或新的非零signal（新的起始点），就生成新分组。
• ffill()会自动将组内第一个非零的signal值填充到后续所有初始为0的行中，和原循环逐行更新的逻辑完全一致，但效率提升几个数量级，尤其适合大样本量的DataFrame。

内容的提问来源于stack exchange，提问作者Eric Cepress