TensorFlow LSTM多特征输入预测5个未来x0值效果差，求优化方案

需求说明 #

每20~60秒采集一组观测数组Xt=[x0, x1, x2, x3, x4]，需以x1~x4为辅助特征，输入历史观测序列，输出后续5个观测的x0值，即[Xt+1[0], Xt+2[0],..., Xt+5[0]]。

现有方案的核心问题 #

• 时序步长设置不合理：time_step=1时LSTM无法捕捉序列的时序依赖关系，相当于将LSTM作为普通全连接层使用，完全浪费了时序建模能力；之前time_step=24的思路正确，是其他实现问题导致效果差
• Stateful LSTM使用错误：Stateful模式要求批次间样本为连续时序片段，且预测前必须手动重置模型状态，当前设置容易导致预测结果偏移，普通短序列预测不需要使用Stateful模式
• 输出层激活函数错误：回归任务输出为连续值，使用elu激活会限制输出范围，应直接使用线性激活
• 评估指标选择错误：回归任务使用分类指标acc无实际意义，观测到的20%左右acc仅为随机概率水平，无法反映模型真实效果
• 训练轮次不足：仅训练5轮模型尚未收敛就停止训练，自然无法得到有效结果
• 缺少数据标准化步骤：不同特征量级差异会直接影响模型收敛效果

优化实现方案 #

1. 数据预处理与样本切分 #

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

# 读取数据
df1 = pd.read_csv('data1.csv', index_col=0)
data1 = df1.to_numpy()

# 数据标准化
scaler = StandardScaler()
data_scaled = scaler.fit_transform(data1)

# 配置参数：历史观测步长设为24，对应8~24分钟的历史数据，预测后续5个点
time_step = 24
pre_len = 5

trX, trY = [], []
for i in range(time_step, len(data_scaled) - pre_len + 1):
    # 输入为前time_step组观测的全部5个特征
    trX.append(data_scaled[i-time_step:i, :])
    # 标签为后续pre_len组观测的x0值
    trY.append(data_scaled[i:i+pre_len, 0])

trX = np.array(trX, dtype=np.float32)
trY = np.array(trY, dtype=np.float32)

# 取最后10%数据作为验证集
val_split = int(0.9 * len(trX))
trainX, valX = trX[:val_split], trX[val_split:]
trainY, valY = trY[:val_split], trY[val_split:]

2. 模型搭建与训练 #

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.LSTM(128, return_sequences=True, input_shape=(time_step, 5)),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.LSTM(64, return_sequences=False),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(32, activation='elu'),
    tf.keras.layers.Dense(pre_len, activation='linear') # 回归任务使用线性激活
])

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
              loss='mse')

# 加入早停机制防止过拟合
early_stop = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=10, restore_best_weights=True)

history = model.fit(trainX, trainY, 
                    batch_size=64, 
                    epochs=100, 
                    validation_data=(valX, valY),
                    callbacks=[early_stop],
                    shuffle=True)

3. 预测结果反归一化 #

# 预测得到标准化后的结果
pred_scaled = model.predict(valX)

# 反归一化得到原始量级的预测值
pred = []
for p in pred_scaled:
    tmp = np.zeros((pre_len, 5))
    tmp[:, 0] = p
    pred.append(scaler.inverse_transform(tmp)[:, 0])
pred = np.array(pred)

# 反归一化得到真实值用于对比
true_val = []
for y in valY:
    tmp = np.zeros((pre_len, 5))
    tmp[:, 0] = y
    true_val.append(scaler.inverse_transform(tmp)[:, 0])
true_val = np.array(true_val)

额外优化建议 #

• 可尝试改用带注意力机制的Seq2Seq结构，更适配多步时序预测场景
• 可补充时间特征作为额外输入，比如采集时间的小时、分钟、是否为工作日等，提升对周期性规律的捕捉能力
• 中小数据集下可尝试LightGBM/XGBoost等多输出回归树模型，将历史时序特征展开为一维输入，调参更简单，效果往往优于LSTM

内容的提问来源于stack exchange，提问作者aylum