You need to enable JavaScript to run this app. NumPy步长1滑窗滞后特征提取:高效重塑形适配Keras LSTM输入
优惠活动
大模型
产品
解决方案
定价
更多

NumPy步长1滑窗滞后特征提取:高效重塑形适配Keras LSTM输入

高效实现方案

完全可以抛弃逐行循环的写法,NumPy本身就提供了专门的滑动窗口视图API,速度快、内存占用低,能完全匹配预期的输出格式;如果是做深度学习训练,生态内也有现成的工具可以直接对接。

纯NumPy原生实现(最高效,无框架依赖)

直接用numpy.lib.stride_tricks.sliding_window_view,对时间步所在的维度做步长为1的窗口滑动,窗口长度设为n_lag + 1(即n_lag个历史步+当前时间步),输出的形状和内容和循环得到的结果完全一致。
核心代码:

import numpy as np
n_rows = 6
n_feat = 3
n_lag = 2
window_len = n_lag + 1  # 窗口总长度:2个历史步 + 1个当前步

a = np.array(range(n_rows * n_feat)).reshape(n_rows, n_feat)

# 对axis=0(时间步维度)做步长1的滑动窗口
b = np.lib.stride_tricks.sliding_window_view(
    a,
    window_shape=window_len,
    axis=0
)

验证结果:

  • b.shape 直接为 (4, 3, 3),完全符合目标形状
  • 输出数值和循环得到的数组完全一致,自动丢弃开头历史不足的行,不需要手动做边界判断

注意点

  • 上述代码返回的是原数组的视图,不会复制实际数据,内存开销几乎为0,哪怕是百万行的时间序列,运算速度也是纳秒级的,比循环np.append的方式快几个数量级
  • 如果需要独立的数组副本(比如后续要修改数组值不影响原数据、或者需要连续内存满足部分算子要求),可以在最后加.copy():
    b = np.lib.stride_tricks.sliding_window_view(a, window_len, axis=0).copy()
    

Keras生态集成实现(适合直接对接模型训练)

如果最终用途是喂给Keras LSTM层做训练,根本不需要手动构造NumPy张量,可以直接用TensorFlow官方提供的时序数据集工具,自带分批、打乱、多线程加载的能力,不需要自己做内存管理:

import tensorflow as tf
dataset = tf.keras.utils.timeseries_dataset_from_array(
    data=a,
    targets=None,  # 仅构造输入特征窗口时设为None,有预测目标可以传入对应标签数组
    sequence_length=window_len,
    sequence_stride=1,  # 步长为1滑动
    sampling_rate=1,
    batch_size=32  # 直接设置训练的批大小
)

如果需要把整个数据集拼成单个NumPy张量,也可以直接转换得到和之前完全一致的b数组。

性能对比

逐行循环方案每次调用np.append都会重新开辟内存、复制全量数据,时间复杂度的常数项极高,在大时间序列场景下会慢到无法接受;而滑动窗口方案是基于底层内存步长的视图操作,没有多余的数据复制,天然只生成完整窗口的样本,完全匹配“丢弃开头历史不足行”的需求,代码量也更少。


内容的提问来源于stack exchange,提问作者ernesi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 11:06:01