多变量LSTM跨特征依赖问题：时间序列预测失效排查

核心问题分析 #

你的模型未学到特征依赖，主要由以下几个关键问题导致：

• LSTM激活函数选择错误
  LSTM层默认激活函数是tanh（输出范围[-1,1]），和你的正弦/余弦数据（值范围[-1,1]）匹配度高。但你用了sigmoid激活，其输出范围被限制在(0,1)，会强行压缩LSTM内部状态的负向信息，完全阻断原始数据中的特征关联传递。

• 训练轮数严重不足
  仅训练2个epochs远远不够让包含双向LSTM+多层Dense的复杂模型收敛。这类序列模型通常需要几十甚至上百轮训练才能捕捉到特征规律，2轮训练后模型基本还处于初始化后的随机状态，根本没机会学习依赖关系。

• 任务目标定义混乱
  你构造的Y形状为(10000, n_steps, forecast_horizon)，要求模型对输入序列的每个时间步都预测未来10步的目标值——这和常规“用前40步序列预测后10步”的多步预测任务不符。混乱的目标会让模型无法明确学习方向，自然无法学到特征依赖。正确的目标形状应为(10000, forecast_horizon)，即每个样本对应一组未来10步的预测结果。

• 学习率设置过高
  Adam优化器的学习率设为0.01偏大，容易导致训练过程中损失震荡，模型无法稳定收敛到最优解，建议调低到0.001或0.0001。

• 输入层设计冗余
  第一个Dense(512)层属于冗余设计：RNN层可以直接处理(n_steps, num_features)形状的序列输入，前置全连接层会增加不必要的参数，延缓模型收敛速度。

修正后的代码示例 #

1. 修正目标变量构造

# 正确构造目标：用前n_steps预测后forecast_horizon步
Y = target[:, n_steps:n_steps+forecast_horizon]  # 形状(10000, 10)
y_train = Y[:7000]
y_valid = Y[7000:9000]
y_test = Y[9000:]

2. 修正模型结构

model = tf.keras.models.Sequential([
    # 直接用LSTM处理序列输入，无需前置Dense层
    tf.keras.layers.Bidirectional(
        tf.keras.layers.LSTM(
            128, 
            return_sequences=True, 
            activation="tanh")),  # 换回默认tanh激活
    tf.keras.layers.Bidirectional(
        tf.keras.layers.LSTM(
            64, 
            activation="tanh")),  # 最后一层LSTM无需return_sequences，目标是一维序列
    tf.keras.layers.Dense(256, activation="relu"),  # 用relu增加非线性，比linear更有效
    tf.keras.layers.Dense(forecast_horizon, activation="linear")   
])

model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),  # 调低学习率
    loss=tf.keras.losses.MeanSquaredError()
)
# 增加训练轮数，同时用早停避免过拟合
model.fit(X_train, y_train, 
    validation_data=(X_valid, y_valid),
    epochs=50,
    callbacks=[tf.keras.callbacks.EarlyStopping(patience=5)])

内容的提问来源于stack exchange，提问作者Tha_X