TensorFlow实现5层CNN精度不足10%，求问题排查方案

你遇到的精度无法超过10%的问题，在GTSRB数据集（43类）上远低于随机猜测的基准（~2.3%），说明模型没有正常学习。结合你的代码，我列出几个明显的问题和排查方向：

一、损失函数的数值稳定性问题 #

你手动实现的softmax损失存在数值风险：

softmax_loss = tf.reduce_mean(tf.negative(tf.log(tf.reduce_sum(tf.multiply(y_conv,y_),1))))

这里你先对y_fc2做了softmax得到y_conv，再计算交叉熵。但softmax的输出可能趋近于0，导致tf.log(0)产生-inf，进而让损失计算失效。

修复方案：使用TensorFlow内置的tf.nn.softmax_cross_entropy_with_logits_v2（或v1），它会直接基于logits（y_fc2）计算，避免数值下溢：

# 移除单独的softmax层，直接用logits计算损失
with tf.variable_scope('softmax_loss'):
    softmax_loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=y_fc2, labels=y_))
    tf.add_to_collection('losses', softmax_loss)
    loss = tf.add_n(tf.get_collection('losses'), name='total_loss')

同时记得删除softmax变量作用域里的y_conv = tf.nn.softmax(y_fc2)，把返回值改成y_fc2, img_summary，后续计算精度时可以用tf.argmax(y_fc2, 1)（softmax不改变argmax的结果）。

二、权重初始化不适合ReLU激活 #

你使用的均匀初始化tf.random_uniform(shape, -0.05,0.05)对ReLU激活函数不友好：ReLU会将负输入置0，如果初始权重的分布导致大量神经元输出为0，这些神经元的梯度会为0，无法更新（即"神经元死亡"）。

修复方案：改用He初始化（针对ReLU的专用初始化）：

def weight_variable(shape):
    weight_init = tf.keras.initializers.HeUniform()(shape)
    return tf.Variable(weight_init, name='weights')

def bias_variable(shape):
    # ReLU的偏置可以初始化为小的正数，避免神经元一开始就死亡
    bias_init = tf.constant(0.01, shape=shape)
    return tf.Variable(bias_init, name='biases')

三、权重衰减未实际生效 #

你把权重加入了decay_weights集合，但没有将权重衰减项加入损失函数中，导致正则化完全没起作用：

# 添加权重衰减到损失集合
beta = 1e-4  # 可调的正则化系数
for w in tf.get_collection('decay_weights'):
    weight_decay = tf.multiply(tf.nn.l2_loss(w), beta, name='weight_loss')
    tf.add_to_collection('losses', weight_decay)

将这段代码放在softmax_loss作用域之后，再计算总损失。

四、学习率可能过大 #

你设置的learning_rate = 0.01对于Momentum优化器来说可能过高，尤其是在输入未归一化的情况下，容易导致权重更新震荡，无法收敛。建议先尝试将学习率降到0.001，甚至0.0001。

五、数据集预处理缺失 #

GTSRB的图片像素值通常是0-255的整数，直接输入模型会导致权重更新不稳定。必须添加归一化步骤：

# 在输入占位符之后添加归一化
x_normalized = tf.divide(x, 255.0)  # 归一化到0-1区间
# 或者用均值归一化
x_normalized = tf.divide(tf.subtract(x, 127.5), 127.5)  # 归一化到-1到1区间

# 然后将x_normalized传入deepnn函数
y_conv, img_summary = deepnn(x_normalized)

排查方法推荐 #

如果上述修改后仍无改善，可以按以下步骤排查：

• 检查损失变化：训练时打印每一轮的损失值，如果损失一直居高不下或波动剧烈，说明模型根本没在学习。
• 验证输入数据：用img_summary可视化输入图片，确认图片加载正确；随机初始化模型，查看初始精度是否接近43类的随机基准（~2.3%），如果初始精度过高，说明标签可能有问题。
• 检查梯度健康度：使用tf.debugging.check_numerics检查各层的梯度是否存在NaN或Inf；也可以打印权重的梯度值，看是否有梯度消失（梯度趋近于0）或爆炸（梯度极大）的情况。
• 简化模型测试：先简化为1个卷积层+1个全连接层的小型模型，看是否能学到基本的特征，如果小型模型能正常提升精度，再逐步添加层数，定位问题层。

内容的提问来源于stack exchange，提问作者kw3rti