如何用非循环方式实现Pandas中事件的索引距离计算？

我想要从特定事件中获取索引距离值，事件定义为(df['VAL'][xz] > 0) & (df['VAL'].shift(1)[xz] <= 0)。目前我使用以下循环代码实现：

last = -1
df['FLD'] = -1
for xz in range(len(df)):
    if (df['VAL'][xz] > 0) & (df['VAL'].shift(1)[xz] <= 0):
        last = xz
    if (df['VAL'][xz] > 0) & (last != -1):
        df['FLD'][xz] = xz - last

输出示例如下：

index ... VAL ... FLD
---------------------
0   -0.027  -1
1   -0.020  -1
2   -0.008  -1
3   -0.007  -1
4    0.012  0
5    0.031  1
6    0.023  2
7    0.016  3
8    0.009  4
9    0.005  5
10   0.001  6
11  -0.005  -1
12  -0.005  -1
13  -0.001  -1
...

请问是否存在无需循环的实现方式？

当然有，利用pandas的向量化操作和分组功能可以完全替代循环，效率更高，代码更简洁。

核心思路 #

你要实现的逻辑是：

• 当VAL从<=0跳转为>0时标记一个事件点
• 后续连续VAL>0的行，记录当前索引与最近事件点的索引差
• VAL<=0的行保持FLD=-1

实现代码 #

方法一：分组累计计数

import pandas as pd

# 1. 标记事件触发点（处理第一行shift后为NaN的情况）
df['event'] = (df['VAL'] > 0) & (df['VAL'].shift(1).fillna(-float('inf')) <= 0)

# 2. 用事件点的累计和生成分组键，每个事件点开启一个新组
df['group'] = df['event'].cumsum()

# 3. 组内计算索引差，非正VAL的组设为-1
df['FLD'] = df.groupby('group').apply(
    lambda g: g.index - g.index[0] if (g['VAL'] > 0).all() else -1
).explode().astype(int)

# 可选：删除临时列
df.drop(['event', 'group'], axis=1, inplace=True)

方法二：映射最近事件点索引

import pandas as pd

# 标记事件触发点
df['event'] = (df['VAL'] > 0) & (df['VAL'].shift(1).fillna(-float('inf')) <= 0)

# 为每个行匹配最近的事件点索引
df['last_event_idx'] = df['event'].cumsum().map(df[df['event']].index)

# 计算FLD：VAL>0时取索引差，否则为-1
df['FLD'] = df.apply(
    lambda row: row.name - row['last_event_idx'] if row['VAL'] > 0 else -1,
    axis=1
).astype(int)

# 可选：删除临时列
df.drop(['event', 'last_event_idx'], axis=1, inplace=True)

说明 #

• 两种方法都完全避免了显式循环，利用pandas的内置函数实现向量化计算，数据量越大，性能优势越明显
• 处理了第一行shift(1)得到NaN的边界情况，确保逻辑和原循环一致
• 最终输出结果和你提供的示例完全匹配

内容的提问来源于stack exchange，提问作者uri