如何提升时间序列预测任务中神经网络模型的稳定性

数据老陈

2026-8-27

问题原因分析

窗口逻辑完全错误：你当前代码设置w_size=4、w_size_adjusted = w_size -3 =1，相当于每次仅用1个时间点作为输入，预测间隔3个步长之后的第4个点；同时窗口切片逻辑为总长度5的窗口取[:-4]作为特征，实际仅拿到窗口第一个值，输入携带的时序信息量几乎为0，模型根本无法学到稳定的时序依赖关系，只能靠随机初始化的权重碰运气。
数据集泄露+训练验证切分失效：你在训练集上计算归一化统计量后，将包含验证集的全量归一化序列series_norm传入训练数据集构建函数，模型训练阶段已经见过验证集所有样本，完全违背实验的隔离要求。
全链路随机性未固定：TensorFlow默认的权重随机初始化、shuffle操作随机采样、GPU算子非确定性执行均未锁定随机种子，每次运行的初始状态完全不同，叠加输入特征无效的问题，模型每次都会收敛到差异极大的局部最优，自然会出现符号反转、幅值偏差大的现象。
训练配置不合理：单Dense层的表达能力极弱，1e-6的学习率对于小模型来说过小，训练100轮根本无法充分收敛；shuffle_buffer设为1等于完全没有打乱样本，模型无法学习全局规律。
推理逻辑与训练不匹配：手动遍历切片做推理时，窗口滑动步长、长度和训练阶段的对齐关系存在偏差，容易引入分布偏移。

修复&优化方案

修正窗口逻辑：如果要实现「输入长度为win的历史序列，预测序列最后一个点之后第4步的值」，窗口总长度应设为win +4，特征取窗口前win个值，标签取窗口最后1个值，删除w_size_adjusted这类硬编码魔数。例如输入1-5周数据预测第9周值时，窗口总长度设为9，特征取window[:5]、标签取window[-1]即可完全匹配需求。
固定全链路随机种子保证可复现，在代码最开头加入以下配置：

import os
import random
seed = 42
os.environ['PYTHONHASHSEED'] = str(seed)
random.seed(seed)
np.random.seed(seed)
tf.random.set_seed(seed)
# N卡用户可加下面两行锁定算子确定性
os.environ['TF_DETERMINISTIC_OPS'] = '1'
os.environ['TF_CUDNN_DETERMINISTIC'] = '1'

修正数据集拆分逻辑：切分训练/验证集后，仅用训练集数据计算均值、标准差做归一化，训练数据集仅传入归一化后的训练集部分，验证集单独构建推理数据集，严禁验证集数据进入训练流程。
调整训练参数：
- 输入窗口大小设为8~16，保证有足够的历史信息支撑预测
- shuffle_buffer设置为接近训练集总样本数的值，保证样本打乱充分
- 学习率先调整到1e-3量级，配合早停机制、学习率衰减策略训练，避免用1e-6的极小学习率导致收敛不足
- 单Dense层表达能力不足，可以叠加2~3层全连接层，或加入轻量1D卷积、LSTM层捕捉时序规律
对齐推理逻辑：推理阶段的窗口长度、滑动步长必须和训练阶段完全一致，不要手动遍历切片，复用训练时的窗口构建逻辑生成验证集数据集，批量调用model.predict推理，减少手动编码的切片bug。

修正后核心代码参考

# 修正窗口函数
def windowed_dataset(series, window_size, pred_horizon, batch_size, shuffle_buffer, seed=42):
    dataset = tf.data.Dataset.from_tensor_slices(series)
    # 窗口总长度 = 输入序列长度 + 预测步长
    dataset = dataset.window(window_size + pred_horizon, shift=1, drop_remainder=True)
    dataset = dataset.flat_map(lambda window: window.batch(window_size + pred_horizon))
    dataset = dataset.shuffle(shuffle_buffer, seed=seed)
    dataset = dataset.map(lambda window: (window[:window_size], window[-1]))
    dataset = dataset.batch(batch_size).prefetch(1)
    return dataset

# 基础参数配置
w_size = 8 # 用8周历史数据做输入
pred_horizon = 4 # 预测4步之后的值
b_size = 8
sb_size = 128 # 取值不小于训练集总样本数
split_time = len(time)-16

# 严格拆分数据集，避免信息泄露
x_train = series[:split_time]
train_mean = x_train.mean()
train_std = x_train.std()
x_train_norm = (x_train - train_mean)/train_std
x_valid_norm = (series[split_time:] - train_mean)/train_std

# 仅用训练集数据构建训练数据集
train_dataset = windowed_dataset(x_train_norm, w_size, pred_horizon, b_size, sb_size, seed)

# 调整模型结构
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(16, activation='relu', input_shape=[w_size]),
    tf.keras.layers.Dense(8, activation='relu'),
    tf.keras.layers.Dense(1)
])
model.compile(loss="mse", optimizer=tf.keras.optimizers.Adam(learning_rate=1e-3))
# 加入早停防止过拟合
early_stop = tf.keras.callbacks.EarlyStopping(patience=10, restore_best_weights=True)
model.fit(train_dataset, epochs=500, callbacks=[early_stop], verbose=1)

完成上述修正后如果仍存在小幅波动，属于小数据集上神经网络训练的正常现象，可以通过5~10折交叉验证、多模型预测结果平均的方式进一步降低结果方差。

内容的提问来源于stack exchange，提问作者thuettel