TensorFlow未训练即显示100%准确率,求问题根源及解决方法
嘿,我一眼就揪出了几个核心错误,正是它们导致了这个“没训练就全对”的诡异现象,咱们慢慢捋:
1. 准确率计算逻辑彻底跑偏
你用tf.argmax(y_conv, 1)和tf.argmax(y_, 1)来对比预测和标签,但仔细看你的张量形状:
y_conv是[None, 1](每个样本只输出1个值)y_也是[None, 1](每个样本的标签是1个值)
tf.argmax(axis=1)是在**第二个维度(也就是列方向)**找最大值的索引,但你的这两个张量在axis=1上只有1个元素啊!不管这个元素的值是多少,argmax的结果永远是0。这就导致tf.equal永远返回True,准确率自然一直是100%——跟模型训练半毛钱关系都没有!
2. 损失函数和标签格式完全不匹配
你用了tf.nn.softmax_cross_entropy_with_logits,这个函数是给**多分类任务(标签必须是one-hot编码)**用的,但你的标签((0,), (1,), (2,))既不是one-hot,而且模型输出只有1个维度,softmax在单维度上完全没意义(输出永远是1)。
如果是二分类任务,你应该用tf.nn.sigmoid_cross_entropy_with_logits,同时标签取值要在0-1之间;如果是多分类,得把标签转成one-hot编码,还要把模型输出改成对应类别数的维度。
3. 训练数据的定义有点混乱
你的batch写法太绕了:
batch = [((0, 0, 0, 0), (1, 0, 0, 0), (1, 0, 1, 0)), ((0,), (1,), (2,))]
虽然x1的输入格式是对的,但y_的格式和你后续的损失、准确率逻辑完全不兼容,建议分开定义输入和标签,看起来更清晰,也不容易出错。
修复后的示例代码
假设你想做一个3分类任务(标签是0、1、2),我给你改了一版代码,你可以参考:
import tensorflow as tf def weight_variable(shape): initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initial) def bias_variable(shape): initial = tf.constant(0.1, shape=shape) return tf.Variable(initial) input_size = 4 num_classes = 3 # 对应标签0、1、2 x1 = tf.placeholder(tf.float32, shape=[None, input_size]) y_ = tf.placeholder(tf.float32, shape=[None, num_classes]) # 改成one-hot格式 W_fc = weight_variable([input_size, num_classes]) b_fc = bias_variable([num_classes]) y_conv = tf.matmul(x1, W_fc) + b_fc # 多分类用softmax交叉熵,标签必须是one-hot cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv)) train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # 现在准确率计算才是有效的:对比预测类别和真实类别 correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) # 把标签转成one-hot编码:0→[1,0,0],1→[0,1,0],2→[0,0,1] batch_x = [(0, 0, 0, 0), (1, 0, 0, 0), (1, 0, 1, 0)] batch_y = [[1,0,0], [0,1,0], [0,0,1]] for i in range(200): if i % 100 == 0: train_accuracy = accuracy.eval(feed_dict={x1: batch_x, y_: batch_y}) print('step %d, training accuracy %g' % (i, train_accuracy)) train_step.run(feed_dict={x1: batch_x, y_: batch_y})
这样改完之后,初始准确率会是随机的(大概33%左右),随着训练会逐步提升,完全符合预期。
额外小提醒
如果你的任务是回归(预测连续值),那根本不该用交叉熵损失和准确率指标,应该用MSE(均方误差)损失,用MAE(平均绝对误差)这类回归指标来评估模型哦。
内容的提问来源于stack exchange,提问作者codythecoder

