TensorFlow输出层尺寸与预期结果不匹配却无报错的技术问询

1. 这种情况是如何运行的？ #

TensorFlow内部的张量运算支持广播机制，当输出张量与标签张量维度不完全匹配但满足广播条件时，会自动扩展维度较小的张量来完成运算。

你的模型输出形状是(100,1)，而标签train_y是(100,2)，两者第一个维度（样本数）一致，第二个维度中输出的1会被广播扩展为2——相当于把每个样本的输出值复制一份，变成(100,2)后再和标签计算MSE损失。

但因为模型只有1个输出神经元，相当于用同一个数值去拟合两个不同的目标特征，模型无法学到同时适配两个特征的有效参数，所以损失变化极小，甚至几乎没有波动。

2. 这是Bug还是有合理机制？ #

这不是Bug，是TensorFlow刻意设计的广播兼容机制。这套机制广泛应用在TensorFlow的各类张量运算中，目的是减少用户手动调整张量维度的工作量，让维度兼容的张量可以直接运算。但这种“自动兼容”有时候会掩盖用户的维度设计错误，就像你遇到的这个场景。

3. 是否是我的操作有误？ #

是的，存在明确的操作错误：你的输出层神经元数量与标签的特征维度不匹配。

train_y是(100,2)，意味着每个样本有2个目标特征，你需要把输出层的神经元数量设置为2，才能对应正确的目标维度，修改后的代码如下：

model = Sequential()
model.add(layers.Dense(10, input_shape=train_x.shape[1:], activation=activations.tanh))
model.add(layers.Dense(2, activation=activations.linear))  # 这里改为2个神经元
model.compile(optimizer=Adam(learning_rate=1e-3, decay=1e-5), loss=MSE)

model.fit(x=train_x, y=train_y, epochs=10, validation_data=(test_x, test_y))

内容的提问来源于stack exchange，提问作者Icould