TensorFlow线性回归模型预测反向且误差过大的原因与优化

为什么会出现反向预测+高误差？ #

• 输入特征未归一化：年份数据是2002-2018这类大数值，经过ReLU激活后，神经元输出会持续处于正值饱和状态，模型无法捕捉到年份与人口的负相关关系。加上权重随机初始化，很容易学到错误的正相关趋势，导致预测反向。同时大尺度输入会让损失值异常大，优化器难以有效调整参数，最终误差居高不下。
• 模型结构过度复杂：这是典型的简单线性回归问题，你用了三层带ReLU的全连接层完全没必要。复杂模型在仅17个样本的小数据集上，要么过拟合噪声，要么无法收敛到正确的线性规律。
• 训练效率低：未归一化的输入导致损失值尺度太大，Adam优化器的参数更新效率被削弱，500轮迭代可能不足以让模型学到正确的映射关系。

如何修正？ #

1. 强制做特征归一化 #

把年份转换为小范围的相对值，两种常用方式：

# 方案1：转换为相对年份（0到16）
X = np.arange(2002, 2019) - 2002
# 方案2：标准化（均值为0，标准差为1）
# X = (np.arange(2002, 2019) - np.arange(2002, 2019).mean()) / np.arange(2002, 2019).std()

2. 简化模型结构 #

线性回归问题用单层无激活的Dense层就足够，完全不需要隐藏层：

input1 = Input(shape=(1,))
out = Dense(1)(input1)  # 直接输出线性结果，无激活函数
model = Model(inputs=input1, outputs=[out])

如果非要用神经网络增强拟合能力，最多用一层带少量神经元的隐藏层，且避免ReLU导致的饱和问题：

input1 = Input(shape=(1,))
l1 = Dense(5, activation='linear')(input1)  # 线性激活或弱非线性
out = Dense(1)(l1)
model = Model(inputs=input1, outputs=[out])

3. 调整训练参数 #

归一化后可适当增加迭代轮数，或微调学习率（默认Adam学习率0.001，可尝试0.01）：

model.compile(optimizer='adam', loss='mae')
history = model.fit(X, y, epochs=1000, batch_size=8)

修改后的完整代码 #

import numpy as np
import matplotlib.pyplot as plt
from tensorflow.python.keras.layers import Input, Dense
from tensorflow.python.keras.models import Model

# 特征归一化：转换为相对年份
X = np.arange(2002, 2019) - 2002
y = np.linspace(21730496, 19473970, 17).astype(float)

# 简化模型
input1 = Input(shape=(1,))
out = Dense(1)(input1)

model = Model(inputs=input1, outputs=[out])
model.compile(optimizer='adam', loss='mae')

history = model.fit(X, y, epochs=1000, batch_size=8)

# 预测时需对输入做同样的归一化
predict_years = np.array([2019, 2020, 2021]) - 2002
print(model.predict(predict_years))

额外建议 #

• 对于线性回归问题，用Scikit-learn的LinearRegression比神经网络更高效、结果更稳定。
• 训练过程中可绘制loss曲线，观察模型是否收敛：

plt.plot(history.history['loss'])
plt.xlabel('Epochs')
plt.ylabel('MAE Loss')
plt.show()

内容的提问来源于stack exchange，提问作者Erik Varga