TensorFlow代码中训练模型准确率无变化问题求助

嘿，我一眼就看出你代码里的问题啦！你的模型准确率一直卡在0.1135左右，本质原因是所有层的权重都用了全零初始化，这直接导致模型根本无法学习任何特征！

问题核心分析 #

当你把隐藏层权重W和输出层权重W_2都初始化为全零矩阵时：

• 隐藏层的所有神经元接收到的输入经过加权后全是0，再经过ReLU激活，输出也全是0
• 输出层基于全0的输入，只能生成完全相同的预测结果，相当于模型一直在随机猜测类别
• MNIST有10个手写数字类别，随机猜测的准确率刚好在0.1左右，和你看到的0.1135完全匹配

修复方案 #

把权重的初始化方式从全零改成随机初始化，推荐用tf.truncated_normal生成截断正态分布的随机值（避免出现过大的初始权重），这样每个神经元的初始权重不同，才能学到不同的特征。

修改后的完整代码 #

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data", one_hot = True)

batch_size = 100
n_batch = mnist.train.num_examples // batch_size

x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])

# 替换全零初始化：用截断正态分布生成随机权重，标准差设为0.1
W = tf.Variable(tf.truncated_normal([784, 50], stddev=0.1))
b = tf.Variable(tf.zeros([50]))
Wx_plus_b_L1 = tf.matmul(x,W) + b
L1 = tf.nn.relu(Wx_plus_b_L1)

# 输出层权重同样改为随机初始化
W_2 = tf.Variable(tf.truncated_normal([50, 10], stddev=0.1))
b_2 = tf.Variable(tf.zeros([10]))
prediction = tf.nn.softmax(tf.matmul(L1, W_2) + b_2)

loss = tf.reduce_mean(tf.square(y - prediction))
train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(prediction,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(21):
        for batch in range(n_batch):
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step, feed_dict={x:batch_xs, y:batch_ys})
        acc = sess.run(accuracy, feed_dict = {x:mnist.test.images, y:mnist.test.labels})
        print("Iter:" + str(epoch) + ", Testing Accuray:" + str(acc))

额外说明 #

• 修改后重新运行，你会看到准确率随着训练轮次稳步提升，很快就能达到90%以上
• 代码里的内存警告是因为一次性加载了全部测试集，不影响模型效果；如果想消除警告，可以分批计算测试准确率

内容的提问来源于stack exchange，提问作者xiao su