TensorFlow搭建CNN训练时Loss值恒定、梯度消失问题求助

我仔细排查了你的TensorFlow代码，找到了导致梯度归零、Loss陷入恒定状态的核心问题，同时还有几个细节需要修正：

1. 最后一层全连接层的激活函数误用 #

这是最关键的问题！你在输出logits的层使用了ReLU激活：

logits = tf.layers.dense(fc1, 2, activation=tf.nn.relu)

ReLU的特性是会将所有小于0的输出直接置为0，这会导致两个严重问题：

• 当logits被截断为0后，tf.nn.softmax(logits)计算出的概率分布会异常（比如两个类别概率都趋近于0.5），无法有效区分类别。
• 一旦输出被ReLU压到0，对应的梯度也会变成0，直接导致网络停止更新，这就是你看到的梯度归零、Loss不再变化的原因。

修正方案：
去掉最后一层的ReLU激活，让它输出原始的logits值：

logits = tf.layers.dense(fc1, 2)  # 移除activation参数

同时，推荐使用tf.losses.categorical_crossentropy的from_logits=True参数，这样TensorFlow会内部高效结合softmax和交叉熵计算，避免数值不稳定：

cross_entropy = tf.losses.categorical_crossentropy(y, logits, from_logits=True)

这样你甚至可以删除y_pred = tf.nn.softmax(logits)这一行，后续预测类别时直接用logits即可：

y_pred_cls = tf.argmax(logits, 1)

2. 替换已弃用的API #

你代码中使用的tf.arg_max已经被官方弃用，建议替换为tf.argmax（注意是小写的m）：

y_cls = tf.argmax(y, 1)
y_pred_cls = tf.argmax(logits, 1)

3. 验证集采样优化（非核心，但更合理） #

你的验证集循环中每次随机采样batch，这可能导致部分样本被重复评估，部分样本被遗漏。更合理的方式是按顺序划分验证集为固定batch，或者直接将整个验证集传入（如果内存允许）：

# 示例：按顺序取验证集batch
val_batch_size = 32
val_steps = len(x_valid) // val_batch_size
sum_loss_val = 0
sum_acc_val = 0
for j in range(val_steps):
    start = j * val_batch_size
    end = start + val_batch_size
    batch_x_val = x_valid[start:end]
    batch_y_val = y_valid[start:end]
    feed_dict_valid = {x: batch_x_val, y: batch_y_val}
    loss_val, acc_val = sess.run([loss, accuracy], feed_dict=feed_dict_valid)
    sum_acc_val += acc_val
    sum_loss_val += loss_val
# 处理剩余不足一个batch的样本
if len(x_valid) % val_batch_size != 0:
    batch_x_val = x_valid[val_steps*val_batch_size:]
    batch_y_val = y_valid[val_steps*val_batch_size:]
    feed_dict_valid = {x: batch_x_val, y: batch_y_val}
    loss_val, acc_val = sess.run([loss, accuracy], feed_dict=feed_dict_valid)
    sum_acc_val += acc_val
    sum_loss_val += loss_val
    val_steps += 1
mean_acc_val = sum_acc_val / val_steps
mean_loss_val = sum_loss_val / val_steps

为什么Keras版本能正常工作？ #

大概率是因为你在Keras的最后一层没有使用ReLU激活，而是直接用了softmax（或者使用from_logits=True配合无激活的输出层），这样网络的梯度能正常传递，自然能从数据中学到有效特征。

把这些修正点应用到你的代码后，应该就能解决梯度归零的问题，让网络正常训练了。

内容的提问来源于stack exchange，提问作者Rodrigo