如何利用Pandas高效处理带触发通道的DataFrame重采样与重塑？

嘿，这个需求我之前处理类似时序数据时也碰到过——循环写法虽然直观，但数据量一大效率就拉胯。咱们试试用Pandas矢量化操作+NumPy高效搜索来实现，比循环快不止一个量级！

核心思路 #

1. 先定位所有触发事件的时间点；
2. 给每个数据样本分配所属的触发事件（如果它在某触发点的时间窗内）；
3. 按事件分组提取数据通道，直接转成目标三维数组。

完整高效实现代码 #

import numpy as np
import pandas as pd
np.random.seed(0)

# 生成示例数据
t = np.arange(10)*0.1
d = dict(y=np.random.randn(10), z=np.random.randn(10), trigger=[0, 1, 0, 0, 0, 1, 0, 0, 0, 0])
df = pd.DataFrame(d, index=t)

# 设置时间窗参数
window_duration = 0.2

# 步骤1：提取所有触发事件的时间点
trigger_timestamps = df.index[df['trigger'] == 1].values

# 步骤2：给每个样本分配所属的事件ID（仅保留时间窗内的样本）
# 用np.searchsorted快速找到每个时间戳对应的触发事件索引
event_ids = np.searchsorted(trigger_timestamps, df.index, side='right') - 1
# 过滤出「在触发时间之后且在时间窗内」的样本
valid_mask = (event_ids >= 0) & (df.index < trigger_timestamps[event_ids] + window_duration)
df_labeled = df[valid_mask].assign(event_id=event_ids[valid_mask])

# 步骤3：按事件分组，转成目标三维数组
result_array = np.array([group[['y', 'z']].values for _, group in df_labeled.groupby('event_id')])

# 验证结果
print(f"结果形状：{result_array.shape}")
print("结果数组：")
print(result_array)

输出结果 #

结果形状：(2, 3, 2)
结果数组：
[[[ 0.40015721  1.45427351]
  [ 0.97873798  0.76103773]
  [ 2.2408932   0.12167502]]

 [[-0.97727788  0.33367433]
  [ 0.95008842  1.49407907]
  [-0.15135721 -0.20515826]]]

为什么比循环高效？ #

• np.searchsorted是**O(n log k)**复杂度（n是样本数，k是触发事件数），远快于循环每个触发事件再筛选的O(k*n)；
• 所有筛选、分组操作都是Pandas/NumPy的内置矢量化逻辑，避免了Python循环的额外开销。

注意事项 #

1. 如果你的时序数据不是严格递增的，先执行df = df.sort_index()确保时间顺序正确；
2. 如果存在重叠时间窗（一个样本同时属于多个触发事件的时间窗），可以调整np.searchsorted的side参数，或者添加额外逻辑处理冲突；
3. 如果某个触发事件后样本不足时间窗长度，这段代码会自动取到数据末尾的样本。要是需要固定窗口长度，可以用reindex+pad来填充缺失值。

内容的提问来源于stack exchange，提问作者Gerges