PyTorch中torch.autograd.grad返回NoneType的问题求助

错误根源 #

你遇到的NoneType错误，本质是梯度传播路径完全断裂，核心原因有三个：

1. Captum的Saliency.attribute()默认会断开计算图：它内部计算完模型对输入的梯度后，会返回脱离原计算图的张量，导致后续操作无法追溯到test_image。
2. 后续的argsort、硬mask创建（elements1[elem1] = 1）都是不可导操作，直接切断了梯度传播链路。
3. 手动设置topK_loss.requires_grad = True无效：因为topK_loss的上游张量（attribution）已经没有梯度信息，torch.autograd.grad自然返回None。

修复方案 #

要实现你的需求（计算topK显著区域损失对输入图像的梯度），需要保留整个流程的计算图，同时替换不可导操作。以下是具体修改：

1. 手动计算Saliency梯度并保留计算图 #

替换Captum的sal.attribute()，手动计算模型输出对输入的梯度，通过create_graph=True保留计算图，确保后续操作能继续传播梯度：

import torch
from captum.attr import Saliency

model = torch.hub.load('pytorch/vision:v0.10.0', 'squeezenet1_1', pretrained=True)
model.eval()

# X, y 是图像和标签
original_label = y
test_image = X.reshape([1,3,227,227]).float()
test_image.requires_grad = True

# 手动计算Saliency梯度（替代Captum的attribute方法，保留计算图）
model.zero_grad()
output = model(test_image)
target_output = output[:, original_label]
# create_graph=True 保留梯度的计算图，支持二阶梯度计算
input_grad = torch.autograd.grad(outputs=target_output, inputs=test_image, create_graph=True)[0]

# 后续的归一化操作（保持和原代码一致）
attribution = torch.sum(torch.abs(input_grad[0]), dim=0)
attribution = 227 * 227 * attribution / torch.sum(attribution)
attribution_flat = attribution.view(-1)

2. 替换不可导的topK硬选择 #

原代码的argsort和硬mask是不可导的，这里用可微分的近似硬选择替代（如果需要严格硬选择，可使用Gumbel-Softmax trick，或接受梯度在mask处断开）：

# 取top1000的阈值，用sigmoid近似硬阈值（放大系数1000趋近于硬选择）
topk_vals, topk_indices = torch.topk(attribution_flat, k=1000)
threshold = topk_vals.min()
# 可导mask：大于阈值的元素趋近于1，否则趋近于0
elements1 = torch.sigmoid((attribution_flat - threshold) * 1000)

3. 计算最终梯度 #

现在梯度路径完整，直接计算损失对输入的梯度即可：

topK_loss = torch.sum(attribution_flat * elements1)
# 无需手动设置requires_grad，计算图已保留
gradients = -torch.autograd.grad(outputs=topK_loss, inputs=test_image)[0]

关键注意点 #

• 如果必须使用Captum的Saliency模块，可在调用attribute时设置return_input_gradients=True，但仍需确保后续操作可导，不如手动计算灵活。
• 硬选择操作本身不可导，若业务允许，优先使用软选择（如上述sigmoid近似）；若必须硬选择，可使用torch.scatter结合反向传播时的梯度截断，但会损失部分梯度信息。

内容的提问来源于stack exchange，提问作者Sank_BE