Keras建模简单代数函数遇困境：收敛不稳定且常输出恒定值

你遇到的情况核心是ReLU激活引发的死亡神经元，再配合过深/过窄的网络结构，导致模型梯度消失、权重停止更新，最终输出恒定值。结合你的二次函数拟合场景，具体分析和解决办法如下：

核心原因 #

1. ReLU的死亡神经元问题：ReLU在输入小于0时输出0，且此时梯度为0，对应的神经元权重无法再更新。你的输入包含负数区间（-10到0），当网络层数多、每层神经元数量少（比如第二个模型第一层仅3个神经元）时，很容易出现所有神经元对部分输入区域输出0的情况，后续层全为0，梯度无法反向传播，模型彻底“僵死”，只能输出固定值。
2. 网络结构冗余且不合理：拟合二次函数这种简单任务，根本不需要5-6层网络。过度加深网络会放大梯度消失的概率，而每层过少的神经元则加剧了神经元被“冻死”的风险。
3. 训练参数配置不当：你的训练样本仅11个，但batch_size设为1000，相当于每次训练都用全量数据，Adam优化器的动量估计会失效，梯度更新效率极低；学习率0.001对于小样本任务可能偏慢，导致5000epochs都无法稳定收敛。

具体解决办法 #

1. 简化/优化网络结构 #

• 放弃不必要的深层网络，用2-3层足够拟合二次函数。如果非要加深，保证每层神经元数量足够（比如第一层至少8个），避免神经元轻易被冻死。
• 示例结构：

  model = Sequential()
  model.add(Dense(units=8, input_dim=1, activation='leaky_relu', kernel_initializer='he_normal'))
  model.add(Dense(units=16, activation='leaky_relu', kernel_initializer='he_normal'))
  model.add(Dense(1, activation='linear'))
  

2. 替换激活函数 #

• 把ReLU换成LeakyReLU或GELU，这两种激活函数在输入为负时不会输出0，能有效避免死亡神经元：

  from tensorflow.keras.layers import LeakyReLU
  model.add(Dense(units=8, input_dim=1, activation=LeakyReLU(alpha=0.1)))
  

• 或者在ReLU层后添加BatchNormalization，稳定每层输入分布，减少神经元被冻死的概率：

  from tensorflow.keras.layers import BatchNormalization
  model.add(Dense(units=8, input_dim=1, activation='relu'))
  model.add(BatchNormalization())
  

3. 数据归一化 #

• 输入x（-10到10）和输出y（-9到123）数值跨度大，归一化到[-1,1]或[0,1]区间能让梯度更新更稳定：

  from sklearn.preprocessing import MinMaxScaler
  scaler_x = MinMaxScaler(feature_range=(-1,1))
  scaler_y = MinMaxScaler(feature_range=(-1,1))
  X_train_scaled = scaler_x.fit_transform(X_train)
  y_train_scaled = scaler_y.fit_transform(y_train)
  # 训练时用归一化后的数据，预测时反归一化
  predictions_scaled = model.predict(scaler_x.transform(X_test))
  predictions = scaler_y.inverse_transform(predictions_scaled)
  

4. 调整训练参数 #

• 把batch_size改成和样本数匹配的大小（比如11）或小批量（4、8），让梯度更新更频繁：

  model.fit(X_train_scaled, y_train_scaled, epochs=2000, batch_size=11)
  

• 调大学习率（比如0.01）或添加学习率衰减：

  optimizer = Adam(learning_rate=0.01, decay=1e-6)
  

• 添加早停机制，监控验证损失，避免无效训练：

  from tensorflow.keras.callbacks import EarlyStopping
  early_stop = EarlyStopping(monitor='val_loss', patience=50, restore_best_weights=True)
  model.fit(..., validation_split=0.2, callbacks=[early_stop])
  

5. 优化权重初始化 #

• 针对ReLU类激活函数，使用He初始化替代默认的Glorot初始化，让初始权重更合理：

  model.add(Dense(units=8, input_dim=1, activation='relu', kernel_initializer='he_normal'))
  

修改后的完整示例代码 #

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, LeakyReLU
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import EarlyStopping
from sklearn.preprocessing import MinMaxScaler
import numpy as np

# 训练数据
X_train = np.array([[-10], [-8], [-6], [-4], [-2], [0], [2], [4], [6], [8], [10]])
y_train = np.array([[63], [33], [11], [-3], [-9], [-7], [3], [21], [47], [81], [123]])
X_test = np.array([[-9], [-7], [-5], [-3], [-1], [1], [3], [5], [7], [9]])
y_test = np.array([[47], [21], [3], [-7], [-9], [-3], [11], [33], [63], [101]])

# 数据归一化
scaler_x = MinMaxScaler(feature_range=(-1, 1))
scaler_y = MinMaxScaler(feature_range=(-1, 1))
X_train_scaled = scaler_x.fit_transform(X_train)
y_train_scaled = scaler_y.fit_transform(y_train)
X_test_scaled = scaler_x.transform(X_test)

# 构建模型
model = Sequential()
model.add(Dense(units=8, input_dim=1, activation=LeakyReLU(alpha=0.1), kernel_initializer='he_normal'))
model.add(Dense(units=16, activation=LeakyReLU(alpha=0.1), kernel_initializer='he_normal'))
model.add(Dense(1, activation='linear'))

# 编译模型
optimizer = Adam(learning_rate=0.01, decay=1e-6)
model.compile(optimizer=optimizer, loss='mean_squared_error', metrics=['mae'])

# 早停回调
early_stop = EarlyStopping(monitor='val_loss', patience=50, restore_best_weights=True)

# 训练模型
model.fit(X_train_scaled, y_train_scaled, epochs=2000, batch_size=11, validation_split=0.2, callbacks=[early_stop])

# 测试模型
predictions_scaled = model.predict(X_test_scaled)
predictions = scaler_y.inverse_transform(predictions_scaled)
loss, mae = model.evaluate(X_test_scaled, scaler_y.transform(y_test))
print(f'Overall Test Loss: {loss}, MAE: {mae}')
print('Predictions:', predictions.flatten())

内容的提问来源于stack exchange，提问作者lemmox