为什么这个简单Keras模型训练无法收敛？求解

你的代码存在3个会直接导致模型无法收敛的核心问题，按影响优先级排序：

1. 输入特征未做归一化
   你的输入x取值范围是51~1777，数值跨度过大，会导致ReLU激活大面积失活、梯度更新尺度异常，是模型训不动的最主要原因。
2. 训练循环存在变量覆盖bug
   循环内写了x = item[0]，直接把外层定义的全量训练集x变量覆盖成了单个样本，迭代几轮之后数据集引用就会出现异常，梯度更新完全混乱。
3. 训练配置不合理
   你设置batch_size=1做单样本更新，梯度噪声极大，同时搭配0.0001的过小学习率，损失下降速度极慢，跑几万轮都看不到收敛迹象，而且没有设置训练终止条件，会无限无意义迭代。

具体修复步骤 #

• 对输入特征做归一化，直接将x除以训练集x的最大值，把特征缩放到0~1区间即可，不需要复杂的标准化操作就能解决大数值带来的训练不稳定问题。
• 修正训练循环的变量命名，不要覆盖全局的数据集变量，用batch_x/batch_y存储当前迭代的批次数据。
• 调整数据集配置，添加.batch(5)每次用全量5个样本计算梯度，大幅降低梯度噪声；将Adam学习率调整为0.001，匹配正常的更新步长；设置固定训练轮次，避免无限循环。
• 移除输入层硬编码的batch_size=1参数，留空后可灵活适配不同batch尺寸，避免维度报错。

修复后可直接运行的代码 #

import tensorflow as tf
import keras

activation = 'relu'
initializer = 'he_uniform'
input_layer = tf.keras.layers.Input(shape=(1,))
dense_layer = keras.layers.Dense(
    32,
    activation=activation,
    kernel_initializer=initializer
)(input_layer)
dense_layer = keras.layers.Dense(
    32,
    activation=activation,
    kernel_initializer=initializer
)(dense_layer)
predictions = keras.layers.Dense(1)(dense_layer)

model = keras.models.Model(inputs=input_layer, outputs=predictions)
model.summary()

optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

x_raw = tf.constant([[727.], [1424.], [379.], [1777.], [51.]])
y = tf.constant([[1.], [1.], [0.], [1.], [0.]])
# 特征归一化
x = x_raw / tf.reduce_max(x_raw)

BATCH_SIZE = 5
EPOCHS = 200
dataset = tf.data.Dataset.from_tensor_slices((x,y)).shuffle(5).batch(BATCH_SIZE).repeat()

for step, (batch_x, batch_y) in enumerate(dataset):
    if step >= EPOCHS:
        break
    with tf.GradientTape() as tape:
        output = model(batch_x, training=True)
        loss = keras.losses.BinaryCrossentropy(from_logits=True)(batch_y, output)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_weights))
    
    if step % 20 == 0:
        print(f"step: {step}, loss: {loss.numpy():.4f}")

# 验证结果
logits = model(x)
pred_prob = tf.nn.sigmoid(logits)
print("\n样本预测概率：", pred_prob.numpy().flatten())
print("样本真实标签：", y.numpy().flatten())

正常运行后200步内损失就能降到0.1以下，标签为1的样本预测概率接近1，标签为0的样本预测概率接近0，完全收敛。

如果不需要自定义训练逻辑，直接用Keras内置的fit方法更简洁，也不容易写出低级bug：

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-3),
              loss=keras.losses.BinaryCrossentropy(from_logits=True))
model.fit(x, y, epochs=200, batch_size=5)

内容的提问来源于stack exchange，提问作者carboncomputed