NumPy步长1滑窗滞后特征提取:高效重塑形适配Keras LSTM输入
高效实现方案
完全可以抛弃逐行循环的写法,NumPy本身就提供了专门的滑动窗口视图API,速度快、内存占用低,能完全匹配预期的输出格式;如果是做深度学习训练,生态内也有现成的工具可以直接对接。
纯NumPy原生实现(最高效,无框架依赖)
直接用numpy.lib.stride_tricks.sliding_window_view,对时间步所在的维度做步长为1的窗口滑动,窗口长度设为n_lag + 1(即n_lag个历史步+当前时间步),输出的形状和内容和循环得到的结果完全一致。
核心代码:
import numpy as np n_rows = 6 n_feat = 3 n_lag = 2 window_len = n_lag + 1 # 窗口总长度:2个历史步 + 1个当前步 a = np.array(range(n_rows * n_feat)).reshape(n_rows, n_feat) # 对axis=0(时间步维度)做步长1的滑动窗口 b = np.lib.stride_tricks.sliding_window_view( a, window_shape=window_len, axis=0 )
验证结果:
b.shape直接为(4, 3, 3),完全符合目标形状- 输出数值和循环得到的数组完全一致,自动丢弃开头历史不足的行,不需要手动做边界判断
注意点
- 上述代码返回的是原数组的视图,不会复制实际数据,内存开销几乎为0,哪怕是百万行的时间序列,运算速度也是纳秒级的,比循环
np.append的方式快几个数量级 - 如果需要独立的数组副本(比如后续要修改数组值不影响原数据、或者需要连续内存满足部分算子要求),可以在最后加
.copy():b = np.lib.stride_tricks.sliding_window_view(a, window_len, axis=0).copy()
Keras生态集成实现(适合直接对接模型训练)
如果最终用途是喂给Keras LSTM层做训练,根本不需要手动构造NumPy张量,可以直接用TensorFlow官方提供的时序数据集工具,自带分批、打乱、多线程加载的能力,不需要自己做内存管理:
import tensorflow as tf dataset = tf.keras.utils.timeseries_dataset_from_array( data=a, targets=None, # 仅构造输入特征窗口时设为None,有预测目标可以传入对应标签数组 sequence_length=window_len, sequence_stride=1, # 步长为1滑动 sampling_rate=1, batch_size=32 # 直接设置训练的批大小 )
如果需要把整个数据集拼成单个NumPy张量,也可以直接转换得到和之前完全一致的b数组。
性能对比
逐行循环方案每次调用np.append都会重新开辟内存、复制全量数据,时间复杂度的常数项极高,在大时间序列场景下会慢到无法接受;而滑动窗口方案是基于底层内存步长的视图操作,没有多余的数据复制,天然只生成完整窗口的样本,完全匹配“丢弃开头历史不足行”的需求,代码量也更少。
内容的提问来源于stack exchange,提问作者ernesi
相关产品推荐
相关产品推荐

