如何优化大尺寸时间序列np.ndarray构建的耗时与内存溢出问题？

你的问题核心在于原代码通过Python循环遍历Pandas rolling窗口，不仅效率低下，还因生成大量中间对象导致内存爆炸。以下是针对性的优化方法：

1. 用Numpy滑动窗口视图直接生成（最优解） #

Numpy 1.20+提供的sliding_window_view可以直接基于原始数据的内存视图生成滑动窗口，无需复制数据，彻底避免Python循环和中间列表的开销，速度和内存效率都拉满。

假设你的原始数据是df[['close', 'volume']]，形状为(N, 2)，执行以下代码：

import numpy as np

# 提取原始数据为Numpy数组，可选提前转低精度类型节省内存
data = df[['close', 'volume']].values.astype('float32')

# 沿时间轴（第0轴）生成窗口大小为20的滑动窗口
# 输出形状为 (N-20+1, 2, 20)
array_X = np.lib.stride_tricks.sliding_window_view(data, window_shape=20, axis=0)

# 如果需要转成 (样本数, 20, 2) 的形状，只需转置轴
array_X = array_X.transpose(0, 2, 1)

这个方法不会额外占用内存（视图共享原始数据内存），生成速度比原代码快几个数量级。

2. 调整数据类型压缩内存 #

如果你的数据不需要float64的精度，将其转为float32（甚至float16，需确保模型兼容）可直接将内存占用减半：

# 转float32，内存占用从8字节/元素降到4字节/元素
data = df[['close', 'volume']].values.astype('float32')

对于2000万样本的场景，这能把滑动窗口数组的内存占用从6.4GB（float64）降到3.2GB（float32），直接解决内存溢出问题。

3. 分块处理超大规模数据 #

如果数据量大到即使转低精度也无法一次性载入内存，可采用分块生成+磁盘存储的方式，后续训练时分批加载：

import numpy as np

data = df[['close', 'volume']].values.astype('float32')
chunk_size = 1_000_000  # 每次处理100万条数据
total_chunks = (len(data) - 20) // chunk_size + 1

for i in range(total_chunks):
    start = i * chunk_size
    # 多取19条数据，保证当前块的窗口能覆盖完整样本
    end = min(start + chunk_size + 19, len(data))
    chunk_data = data[start:end]
    
    # 生成当前块的滑动窗口
    chunk_windows = np.lib.stride_tricks.sliding_window_view(chunk_data, window_shape=20, axis=0)
    
    # 剔除与上一块重复的样本（每块末尾的19个窗口会和下一块开头重叠）
    if i != 0:
        chunk_windows = chunk_windows[chunk_size:]
    
    # 保存到磁盘，后续训练可按需加载
    np.save(f'time_series_window_chunk_{i}.npy', chunk_windows)

4. Pandas Rolling优化（兼容旧版环境） #

如果无法使用高版本Numpy，可优化Pandas Rolling的使用方式，避免Python循环遍历窗口：

def process_window(window):
    # 直接返回窗口的Numpy数组，避免转列表
    return window.flatten()

# 用raw=True传递Numpy数组，减少Series开销
rolled = df[['close', 'volume']].rolling(window=20).apply(process_window, raw=True)

# 去掉空值后reshape成目标形状
array_X = rolled.dropna().values.reshape(-1, 20, 2)

这个方法比原代码高效，但仍不如Numpy滑动窗口视图的性能。

内容的提问来源于stack exchange，提问作者user6703592