PyTorch报错：module 'torch' has no attribute 'logsoftmax' 求助

错误原因 #

你遇到的AttributeError: module 'torch' has no attribute 'logsoftmax'是因为PyTorch中不存在torch.logsoftmax这个API——正确的对数Softmax函数名称是torch.log_softmax（注意函数名中间的下划线）。

修复方案 #

将代码中所有的torch.logsoftmax替换为torch.log_softmax即可解决该错误。修改后的熵计算代码如下：

# 修正entropy1计算
entropy1 = -torch.sum(torch.softmax(pred1[:, :10], dim=1) * torch.log_softmax(pred1[:, :10], dim=1), dim=-1,
                      keep_dim=True)
# 修正entropy2计算
entropy2 = -torch.sum(torch.softmax(pred2[:, :10], dim=1) * torch.log_softmax(pred2[:, :10], dim=1), dim=-1,
                      keep_dim=True)

可选优化方案 #

你也可以使用torch.nn.functional.log_softmax（与torch.log_softmax功能完全一致），或者用更简洁高效的方式计算熵：

import torch.nn.functional as F

# 方式1：使用F.log_softmax
entropy1 = -torch.sum(F.softmax(pred1[:, :10], dim=1) * F.log_softmax(pred1[:, :10], dim=1), dim=-1, keep_dim=True)

# 方式2：直接调用Categorical分布的entropy方法
entropy1 = torch.distributions.Categorical(logits=pred1[:, :10]).entropy().unsqueeze(1)
entropy2 = torch.distributions.Categorical(logits=pred2[:, :10]).entropy().unsqueeze(1)

内容的提问来源于stack exchange，提问作者Khawar Islam