如何用NumPy高效实现二维数组沿单维度带指定间隔的滚动滑窗
问题背景
之前看过平台上不少类似的讨论,但始终没弄明白
np.lib_stride_tricks.as_strided的实际工作原理,希望找到可高效实现如下数组映射的NumPy方法,替代手写for循环的逻辑:
import numpy as np a = np.random.rand(100000, 3) window_length = 200 spacing = 20 b = [] for i in range(0, a.shape[0] - window_length, spacing): b.append(a[i:i+window_length, :]) b = np.asarray(b) print(b.shape) # 上述代码运行输出为 (4490, 200, 3)
高效实现方案
不需要手动编写as_strided的步长计算逻辑。NumPy 1.20版本之后提供了官方封装的滑窗视图工具 sliding_window_view,自动处理了步长计算、内存边界校验的细节,完全可以替代手写as_strided实现,避免手动计算参数导致的隐蔽内存越界问题,运行效率远高于for循环实现。
具体实现代码:
from numpy.lib.stride_tricks import sliding_window_view # 沿数组第0维生成固定窗长的连续滑动窗 all_windows = sliding_window_view(a, window_shape=window_length, axis=0) # 完全对齐原循环的索引范围:取起始位置小于 (a.shape[0] - window_length) 的窗,按设定间隔选取 b = all_windows[:a.shape[0] - window_length:spacing, ...] # 校验输出形状,与原循环结果完全一致 print(b.shape)
补充说明:
- 返回值特性:上述实现返回的是原数组的非连续视图,不会生成额外的数组拷贝,内存占用和原输入数组基本一致
- 修改说明:如果需要对返回的
b做任意修改,只需要在取窗后追加一步.copy()生成独立的连续内存数组即可 - 使用建议:手动使用
as_strided需要逐维计算步长、形状参数,对新手不友好且容易出现内存访问错误,日常开发优先使用官方封装的sliding_window_view
内容的提问来源于stack exchange,提问作者Thomas Wagenaar
相关产品推荐
相关产品推荐

