PyTorch中CrossEntropyLoss为何采用标签编码而非独热编码？

问题描述 #

学习PyTorch的CrossEntropyLoss模块时，指导老师要求输入目标值y采用标签编码（label encoded）而非独热编码（one-hot encoded），示例代码如下：

import torch
import torch.nn as nn

loss = nn.CrossEntropyLoss()
Y = torch.tensor([0])
Y_pred_good = torch.tensor([[2.0, 1.0, 0.1]])  
Y_pred_bad = torch.tensor([[0.5, 1.0, 0.3]])

l1 = loss(Y_pred_good, Y)
l2 = loss(Y_pred_bad, Y)

print(l1.item())
print(l2.item())

但此前了解到交叉熵损失计算需要基于独热编码的类别信息，因此产生疑问：PyTorch的该模块是否会将标签编码转换为独热编码？或是存在其他基于标签编码计算交叉熵损失的方式？

解答 #

PyTorch的nn.CrossEntropyLoss不会显式将标签编码转为独热编码，它通过更高效的原生逻辑直接基于标签编码计算损失，本质是将nn.LogSoftmax()和nn.NLLLoss()（负对数似然损失）合并为一个模块：

• 常规交叉熵计算逻辑：先对预测值做Softmax得到概率分布，再与独热编码的真实标签逐元素相乘后求和、取负得到损失。
• CrossEntropyLoss的优化逻辑：
  1. 自动对输入的预测值执行LogSoftmax操作，得到各分类的对数概率；
  2. 借助NLLLoss的特性：当目标是标签编码时，直接提取对应标签位置的对数概率值，取负后计算平均损失。

这种方式无需生成独热编码张量，既节省内存开销，又提升了计算效率，最终结果和先转独热再计算交叉熵完全一致。

如果一定要用独热编码作为目标计算损失，你可以手动组合LogSoftmax和NLLLoss，或者使用BCELoss配合Softmax处理，但这既冗余又没必要——标签编码是CrossEntropyLoss官方推荐的输入格式，也是最高效的用法。

内容的提问来源于stack exchange，提问作者yubin