TensorFlow中反向传播流入标签是什么意思？标签不应是常量吗？

你遇到的警告与v2版本说明 #

首先，你收到的弃用警告内容如下：

softmax_cross_entropy_with_logits（来自tensorflow.python.ops.nn_ops）已被弃用，将在未来版本中移除。
更新说明：
未来TensorFlow主版本默认将允许反向传播时梯度流入labels输入。

之后你查看tf.nn.softmax_cross_entropy_with_logits_v2时看到的说明：

反向传播将同时作用于logits和labels。若要禁止反向传播流入labels，需在将标签张量传入该函数前通过stop_gradients处理。

你的疑问解答：标签为啥会被梯度流入？ #

你说“标签不是应该被设为常量吗？”——这完全是常规监督学习场景下的正常认知！大多数时候我们用的标签都是人工标注的固定值，确实不需要计算它们的梯度，旧版本的函数也默认只对logits计算梯度，不会让梯度流向labels。

那“反向传播流入labels”到底是什么意思？

• 在一些特殊的机器学习场景中，标签本身并不是固定不变的常量——比如半监督学习里自动生成的伪标签、对抗训练中动态调整的标签，或者某些自定义任务需要让标签也参与优化过程。这时候我们希望反向传播的梯度不仅用来更新模型的权重（通过logits的梯度传递），还能反向调整标签的数值。
• TensorFlow v2版本的这个函数默认开启了这个功能，就是为了支持这些更灵活的场景；但如果你还是在使用常规的固定标签，只需要用tf.stop_gradient()把标签张量包裹起来，就能阻止梯度流入labels，和旧版本函数的行为保持一致，避免不必要的计算或者意外的参数更新。

举个简单的代码示例，常规固定标签的正确用法：

# 对固定标签使用stop_gradient，阻止梯度流入
labels = tf.stop_gradient(your_fixed_label_tensor)
loss = tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels, logits=model_logits)

这样就完美适配v2版本的函数，同时符合你对“标签是常量”的常规认知啦。

内容的提问来源于stack exchange，提问作者Maybe