为何Keras模型预测结果难以超出[-1,1]范围？附复现代码

你的模型使用了linear激活函数，本身没有任何输出范围限制（不会被约束在[-1,1]区间），预测结果接近1而不是预期的42，核心原因是优化器的学习率设置和训练轮数的问题。

问题分析 #

你的模型结构非常简单：一个输入层+一个线性输出层。对于输入x=[0]，模型的输出公式是：
y_pred = w * x + b
由于x=0，输出直接等于偏置项b。训练的目标是让b=42，但：

1. Keras的Dense层默认将偏置初始化为0；
2. RMSProp优化器的默认学习率是0.001；
3. 你使用的mean_absolute_error损失，当预测值小于目标值时，偏置的梯度是固定的1。

这意味着每一轮训练，偏置只会增加约0.001。1000轮下来，偏置从0增加到大约1，所以你看到的输出接近1。

解决方案 #

你可以通过以下几种方式快速让模型收敛到目标值：

• 调大优化器的学习率
  显式设置RMSProp的学习率，让参数更新步长更大：

  from keras.optimizers import RMSprop
  # ... 模型定义部分不变
  model.compile(loss='mean_absolute_error', optimizer=RMSprop(learning_rate=0.1))
  

  这样只需要几十轮训练，偏置就能逼近42。

• 增加训练轮数
  如果不想修改学习率，大幅增加训练轮数也能让偏置逐步接近目标值：

  model.fit(x,y,epochs=50000, verbose=False)
  

• 换用SGD优化器
  在这种超简单的模型场景下，SGD优化器的收敛表现更直接：

  from keras.optimizers import SGD
  # ... 模型定义部分不变
  model.compile(loss='mean_absolute_error', optimizer=SGD(learning_rate=0.1))
  

内容的提问来源于stack exchange，提问作者dspeyer