nn.NLLLoss是否仅等价于普通取负操作？二者有什么区别？

你测试时得到的恒为True的结果只是极端特例下的巧合，二者逻辑差异极大，核心区别如下：

• 输入适配逻辑不同
  nn.NLLLoss()默认是为多分类任务设计的损失函数，要求输入形状为(N, C)，其中N是样本数，C是类别总数，输入的每一行对应单个样本在所有类别上的对数概率。计算时会自动取出每个样本对应真实标签位置的对数概率值，而非对整个张量的所有元素统一操作。
  你的测试用例是N=1、C=1的极端情况，标签固定为0，刚好只需要取唯一位置的元素操作，才会和直接取负结果一致。常规多分类场景下二者结果完全不同，示例如下：

import torch
# 2个样本，3个类别
input = torch.tensor([[-0.5, -0.2, -0.3], [-0.1, -0.7, -0.2]])
target = torch.tensor([1, 2])
# NLLLoss默认reduction=mean
loss = torch.nn.NLLLoss()(input, target)
print(loss) # 输出为(0.2 + 0.2)/2 = 0.2，和直接对input全量取负的结果完全不同

• 内置归约逻辑
  nn.NLLLoss()有可配置的reduction参数，默认值为mean，可选sum、none：

  • 当reduction="mean"时，会把所有样本对应的负对数概率求平均，输出一个标量损失
  • 当reduction="sum"时，会把所有样本对应的负对数概率求和，输出一个标量损失
  • 当reduction="none"时，会返回每个样本对应的负对数概率，形状为(N,)
    只有当N=1、且reduction为mean或sum时，结果才会和直接对对应位置元素取负相等，多样本场景下结果完全不同。

• 支持高维任务场景
  nn.NLLLoss()还适配图像分割、序列标注等高维分类任务，支持输入形状为(N, C, d1, d2, ..., dk)的张量，会自动在所有维度上匹配对应位置的标签取值计算，直接取负无法实现该逻辑。

内容的提问来源于stack exchange，提问作者Saad Jlil