基于Keras+TF的LSTM在自定义时间序列预测中的异常表现

问题描述 #

我用Keras+TensorFlow编写了Python代码，通过简单LSTM模型预测自定义时间序列（正弦曲线+线性趋势）。单独预测正弦曲线时效果正常，但加入线性趋势后，模型预测效果大幅下降，无法达到理想拟合度，且最后几个时间步的预测始终偏差较大，请问这一异常表现的原因是什么？

复现代码 #

# LSTM for international airline passengers problem with memory
import numpy as np
import matplotlib.pyplot as plt
from pandas import read_csv
import tensorflow as tf
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error

# convert an array of values into a dataset matrix

def create_dataset(dataset, look_back=1):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        a = dataset[i:(i+look_back), 0]
        dataX.append(a)
        dataY.append(dataset[i + look_back, 0])
    return np.array(dataX), np.array(dataY)

# fix random seed for reproducibility
tf.random.set_seed(7)

# load the dataset
dataframe = read_csv(r'C:\Users\LENOVO\Documents\Python Scripts\airline-passengers.txt', usecols=[1], engine='python')
dataset = dataframe.values
dataset = dataset.astype('float32')

dataset = (np.sin(np.arange(0,500))*10 + np.arange(0,500)).reshape(-1,1)

# normalize the dataset
scaler = MinMaxScaler(feature_range=(0, 1))
dataset = scaler.fit_transform(dataset)

# split into train and test sets
train_size = int(len(dataset)*0.5)
test_size = len(dataset) - train_size
train, test = dataset[0:train_size,:], dataset[train_size:len(dataset),:]

# reshape into X=t and Y=t+1
look_back = 5
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back)

# reshape input to be [samples, time steps, features]
trainX = np.reshape(trainX, (trainX.shape[0], trainX.shape[1], 1))
testX = np.reshape(testX, (testX.shape[0], testX.shape[1], 1))

# create and fit the LSTM network
batch_size = 1
model = Sequential()
model.add(LSTM(32, batch_input_shape=(batch_size, look_back, 1), stateful=True))
model.add(Dense(1))

model.compile(loss='mean_squared_error', optimizer='adam')
for i in range(100):
    model.fit(trainX, trainY, epochs=1, batch_size=batch_size, verbose=2, shuffle=False)
    model.reset_states()

# make predictions
trainPredict = model.predict(trainX, batch_size=batch_size)
model.reset_states()
testPredict = model.predict(testX, batch_size=batch_size)

# invert predictions
trainPredict = scaler.inverse_transform(trainPredict)
trainY = scaler.inverse_transform([trainY])
testPredict = scaler.inverse_transform(testPredict)
testY = scaler.inverse_transform([testY])

# calculate root mean squared error
trainScore = np.sqrt(mean_squared_error(trainY[0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore))
testScore = np.sqrt(mean_squared_error(testY[0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore))

# shift train predictions for plotting
trainPredictPlot = np.empty_like(dataset)
trainPredictPlot[:, :] = np.nan
trainPredictPlot[look_back:len(trainPredict)+look_back, :] = trainPredict

# shift test predictions for plotting
testPredictPlot = np.empty_like(dataset)
testPredictPlot[:, :] = np.nan
testPredictPlot[len(trainPredict)+(look_back*2)+1:len(dataset)-1, :] = testPredict

# plot baseline and predictions
fig, ax = plt.subplots(1, 1, figsize=(15, 5))
plt.plot(scaler.inverse_transform(dataset))
plt.plot(trainPredictPlot, label='train prediction')
plt.plot(testPredictPlot, label='test prediction')
ax.legend(loc="lower left")
plt.show()

模型预测结果 #

原因分析与改进建议 #

核心问题原因 #

1. 归一化逻辑导致的数据分布偏移
   你用MinMaxScaler对整个数据集做0-1归一化后再拆分训练/测试集，但带线性趋势的序列是单调递增的：训练集只包含前半段低数值区间，测试集是后半段高数值区间。模型训练时从未接触过测试集的数值范围，归一化后的特征映射完全不匹配，自然无法泛化到测试集的高值区域，末尾偏差大就是这个原因。

2. Stateful LSTM的训练逻辑错误
   你设置了stateful=True却在每个epoch后执行reset_states()，这完全违背了状态LSTM的设计初衷——状态LSTM需要保留序列训练的状态来学习长期依赖，但每次epoch重置状态后，模型无法累积关于全局线性趋势的记忆，只能学到局部正弦波动，对整体上升趋势毫无感知。

3. 输入窗口长度不足以捕捉趋势
   look_back=5的窗口只能覆盖5个时间步，而线性趋势是全局长期模式，这么短的窗口无法让模型捕捉到“持续上升”的规律，只能拟合局部波动，跟不上整体趋势。

4. 模型容量不足以适配混合任务
   单独正弦曲线是平稳周期序列，单LSTM层+32单元足够拟合；但加入线性趋势后，序列变成非平稳的趋势+周期混合模式，现有模型容量无法同时学习两种规律，导致拟合效果拉胯。

针对性改进方案 #

• 修正归一化流程：先用训练集拟合MinMaxScaler，再用这个scaler分别转换训练集和测试集，避免数据泄露；或者改用StandardScaler，对带趋势的非平稳序列适配性更好。
• 调整Stateful LSTM训练逻辑：如果保留stateful=True，不要在每个epoch后重置状态，而是在所有训练epoch完成后再重置；或者直接改用无状态LSTM，配合更大的batch_size和更长的look_back窗口。
• 增大输入窗口：将look_back调整为20-30，让模型能捕捉更长时间范围内的趋势变化。
• 提升模型容量：堆叠2层LSTM，或者增大单元数（比如64/128），同时将训练轮次增加到200轮左右。

内容的提问来源于stack exchange，提问作者Sam