使用LSTM进行单变量时间序列预测时出现负值的问题求助

为什么会出现负值预测？ #

• 输出层无约束激活函数：你的模型最后一层是Dense(1)，默认使用线性激活函数，没有下限限制。当seq_size改变时，模型学习到的时间模式发生变化——比如seq_size=24对应一天的小时周期，模型可能为了最小化MSE损失，在某些样本上输出负值来拟合整体误差。
• 序列长度适配问题：不同seq_size会改变模型接收的时间窗口长度，当seq_size=24时，模型捕捉的周期特征和其他长度不同，如果训练数据中存在局部波动，模型可能无法完全适配，进而产生超出正值范围的预测。
• 模型拟合偏差：seq_size增大（比如24）会增加输入维度，若模型容量不足或正则化不够，容易出现过拟合/欠拟合，导致预测值偏离正常范围。

解决办法 #

1. 给输出层添加正约束激活函数

修改最后一层Dense，使用能限制输出为正的激活函数，比如ReLU、Softplus：

# 选项1：ReLU（简单直接，输出≥0）
Dense(1, activation='relu')
# 选项2：Softplus（更平滑的正输出，避免ReLU的硬截断）
Dense(1, activation='softplus')

注意：ReLU在输出接近0时可能出现梯度消失，若你的数据有接近0的正值，Softplus会更友好。

2. 对输入数据做归一化处理

用MinMaxScaler将数据缩放到[0,1]区间，配合输出层的激活函数，能让模型更容易保持输出为正：

from sklearn.preprocessing import MinMaxScaler

# 初始化缩放器
scaler = MinMaxScaler(feature_range=(0, 1))
scaled_data = scaler.fit_transform(original_data.reshape(-1, 1))

# 之后分割trainX、trainY等都用缩放后的数据
# 预测完成后再逆缩放得到原始尺度的结果
trainPredict = scaler.inverse_transform(model.predict(trainX))
testPredict = scaler.inverse_transform(model.predict(testX))

3. 调整模型正则化与结构

当seq_size变化时，适配模型容量和正则化：

from tensorflow.keras import regularizers

model = Sequential([
    LSTM(units, activation='tanh', return_sequences=True, input_shape=(None, 1),
         kernel_regularizer=regularizers.l2(0.001)),  # 添加L2正则化
    Dropout(0.3),  # 调整Dropout比例
    LSTM(units, activation='tanh', return_sequences=False,
         kernel_regularizer=regularizers.l2(0.001)),
    Dense(1, activation='relu')
])

4. 自定义损失函数惩罚负值

如果不想用激活函数约束，可在损失函数中对负值预测额外惩罚：

import tensorflow as tf

def custom_loss(y_true, y_pred):
    mse = tf.keras.losses.mean_squared_error(y_true, y_pred)
    # 对负值预测添加惩罚项
    penalty = tf.reduce_mean(tf.maximum(-y_pred, 0)) * 0.5
    return mse + penalty

model.compile(optimizer='adam', loss=custom_loss)

内容的提问来源于stack exchange，提问作者MartinRK80