TensorFlow GradientDescentOptimizer报错：输入与梯度形状不兼容

这个报错的核心原因是**tf.nn.softmax_cross_entropy_with_logits对输入labels和logits的形状、格式要求不匹配**，咱们来拆解问题并一步步修复：

具体问题点 #

• 你的logits（也就是网络输出D2）形状是(16,1)，但softmax_cross_entropy_with_logits要求labels和logits的最后维度必须一致，且labels需要是one-hot编码格式。
• 你传入的labels是形状为(16,)的整数数组，既没有做one-hot转换，形状也和logits不匹配；同时最后一层网络只输出1个维度，这和你实际的二分类场景（标签是0和1）不匹配。

修复步骤 #

1. 调整最后一层网络输出维度 #

因为你是二分类任务，最后一层应该输出2个维度（对应两个类别），所以修改W2和b2的定义：

W2 = tf.Variable(np.random.rand(100, 2), dtype=tf.float32, name='W2')
b2 = tf.Variable(np.zeros((2)), dtype=tf.float32, name='b2')

2. 修正标签的格式与placeholder定义 #

把输入的整数标签转换成形状为(batch_size, 2)的one-hot数组，同时更新labels的placeholder：

labels = tf.placeholder(tf.float32, [batch_size, 2])  # 改为浮点型+匹配logits的形状
# 传入数据时将整数标签转成one-hot
raw_labels = np.array([1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 0, 1, 1])
labels_onehot = sess.run(tf.one_hot(raw_labels, depth=2))

3. 确保损失函数输入匹配 #

现在logits形状是(16,2)，labels是(16,2)，完全满足softmax_cross_entropy_with_logits的要求。

完整修改后的代码 #

import tensorflow as tf
import numpy as np

batch_size = 16
size = 400

# 修正labels的placeholder形状和类型
labels = tf.placeholder(tf.float32, [batch_size, 2])
doc_encode = tf.placeholder(tf.float32, [batch_size, size])

W1 = tf.Variable(np.random.rand(size, 100), dtype=tf.float32, name='W1')
b1 = tf.Variable(np.zeros((100)), dtype=tf.float32, name='b1')
# 修改最后一层输出为2维（对应二分类）
W2 = tf.Variable(np.random.rand(100, 2), dtype=tf.float32, name='W2')
b2 = tf.Variable(np.zeros((2)), dtype=tf.float32, name='b2')

D1 = tf.nn.relu(tf.matmul(doc_encode, W1) + b1)
D2 = tf.nn.selu(tf.matmul(D1, W2) + b2)

# 现在labels和logits形状匹配：(16,2)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=D2))
optim = tf.train.GradientDescentOptimizer(0.01).minimize(cost, aggregation_method=tf.AggregationMethod.EXPERIMENTAL_TREE)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    # 将原始标签转换为one-hot编码
    raw_labels = np.array([1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 0, 1, 1])
    labels_onehot = sess.run(tf.one_hot(raw_labels, depth=2))
    _cost, _ = sess.run([cost, optim], 
                        feed_dict={labels: labels_onehot, 
                                   doc_encode: np.random.rand(batch_size, size)})
    print(f"初始损失值: {_cost}")

额外建议 #

如果你的任务是二分类，其实更适合用tf.nn.sigmoid_cross_entropy_with_logits，此时最后一层可以保持输出1个维度，标签也不用做one-hot转换（直接用0/1的形状(16,)即可），这样代码会更简洁，也更符合二分类的场景设计。

内容的提问来源于stack exchange，提问作者GoatWang