如何用Pandas移除时间序列中信号触发后5秒内的1值？

我有一个以时间为索引的DataFrame，列取值为0或1（1代表触发信号）。当触发信号后，需要将接下来5秒内的所有1值改为0。示例如下：

原始数据 #

2023-08-16 23:59:10,0
2023-08-16 23:59:11,1 # got a signal at 11th second
2023-08-16 23:59:12,1 # remove this 1 at 12th second
2023-08-16 23:59:13,0 # unchanged
2023-08-16 23:59:14,1 # remove this 1 at 14 second
2023-08-16 23:59:15,1 # remove this 1 at 15 second
2023-08-16 23:59:16,0 # unchanged 
2023-08-16 23:59:17,0
2023-08-16 23:59:18,0  
2023-08-16 23:59:19,1 # got a new signal at 19th second
2023-08-16 23:59:20,0 
2023-08-16 23:59:21,1 # remove this 1 at 21 second
2023-08-16 23:59:22,0

处理后的数据 #

2023-08-16 23:59:10,0
2023-08-16 23:59:11,1 # got a signal at 11th second
2023-08-16 23:59:12,0 
2023-08-16 23:59:13,0 
2023-08-16 23:59:14,0 
2023-08-16 23:59:15,0 
2023-08-16 23:59:16,0 
2023-08-16 23:59:17,0
2023-08-16 23:59:18,0  
2023-08-16 23:59:19,1 # got a new signal at 19th second
2023-08-16 23:59:20,0 
2023-08-16 23:59:21,0 
2023-08-16 23:59:22,0

解决方案 #

方法1：循环标记区间（适合小数据量） #

先确保DataFrame的索引是datetime类型，然后提取所有触发信号的时间点，逐个标记后续5秒内的区间并置0：

import pandas as pd

# 假设你的DataFrame名为df，信号列名为'signal'
df.index = pd.to_datetime(df.index)

# 提取所有触发信号的时间点
signal_times = df[df['signal'] == 1].index

# 创建掩码，标记需要置0的位置
mask = pd.Series(False, index=df.index)
for t in signal_times:
    # 标记信号时间后1秒到5秒的区间（不包含信号本身）
    mask.loc[t + pd.Timedelta(seconds=1): t + pd.Timedelta(seconds=5)] = True

# 将掩码覆盖且原信号为1的位置置0
df.loc[mask & (df['signal'] == 1), 'signal'] = 0

方法2：用merge_asof高效处理（适合大数据量） #

避免循环，利用merge_asof匹配每个时间点最近的信号触发时间，再判断是否在屏蔽区间内：

import pandas as pd

# 确保索引是datetime类型并重置索引以便处理
df.index = pd.to_datetime(df.index)
df = df.reset_index().rename(columns={'index': 'time', '0': 'signal'})  # 假设原始列名为'0'，可根据实际修改

# 提取所有信号触发时间
signals = df[df['signal'] == 1][['time']].rename(columns={'time': 'signal_time'})

# 匹配每个时间点最近的信号触发时间（向后匹配）
df = pd.merge_asof(df, signals, left_on='time', right_on='signal_time', direction='backward')

# 判断当前时间是否在最近信号的1-5秒范围内
df['need_mask'] = (df['time'] > df['signal_time']) & (df['time'] <= df['signal_time'] + pd.Timedelta(seconds=5))

# 对符合条件的1值置0
df.loc[df['need_mask'] & (df['signal'] == 1), 'signal'] = 0

# 恢复时间索引并清理临时列
df = df.set_index('time').drop(columns=['signal_time', 'need_mask'])

验证结果 #

运行上述代码后，你的DataFrame会按照需求完成信号屏蔽，结果与示例一致。

内容的提问来源于stack exchange，提问作者YNX