PyTorch下S3FD模型PGD攻击时loss.backward()报错问题

错误原因 #

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 本质是反向传播时，计算图中的关键节点（多数情况是输入图像张量）未被梯度追踪，或者中间操作切断了梯度传播链路。

具体解决步骤 #

1. 开启输入图像的梯度追踪 #

PGD攻击需要对输入图像求导，必须显式为输入张量开启梯度追踪：

# 假设输入图像为img_tensor，确保它是PyTorch张量并开启requires_grad
img_tensor = img_tensor.to(device).float()
img_tensor.requires_grad = True  # 核心步骤：开启梯度追踪

如果输入是从numpy数组转换而来，转换时要保留梯度能力：

# 错误示例：转成tensor后未开启梯度追踪
img_tensor = torch.from_numpy(img_np)
# 正确做法
img_tensor = torch.from_numpy(img_np).float().to(device)
img_tensor.requires_grad = True

2. 替换前向传播中的numpy操作 #

numpy操作会将PyTorch张量转为numpy数组，这一步会彻底丢失梯度信息（numpy不参与PyTorch的自动微分机制）。因此：

• 所有参与前向传播、最终影响损失计算的numpy函数，必须替换为PyTorch的等价实现：
  • 把np.exp()换成torch.exp()
  • 把np.max()换成torch.max()
  • 把np.reshape()换成torch.reshape()或.view()
• 仅用于日志打印、结果保存等不影响损失计算的辅助性numpy操作，可以保留。

3. 检查损失计算与模型状态 #

• 损失计算全程要使用PyTorch张量，不要将损失转为numpy后再转回张量，否则会切断梯度链：

  # 错误示例：切断梯度传播
  loss = np.mean(loss_np)
  loss = torch.tensor(loss)
  # 正确做法：直接用PyTorch张量计算损失
  loss = torch.mean(loss_tensor)
  

• 攻击时模型可以固定参数（设置model.requires_grad_(False)），但不要将模型设为eval()模式（eval()会冻结BatchNorm等层的统计量，可能干扰前向传播结果，进而影响梯度计算）。

4. 验证梯度传播链路 #

在调用loss.backward()前，可通过以下代码排查问题：

print("输入张量requires_grad:", img_tensor.requires_grad)
print("损失张量grad_fn:", loss.grad_fn)

• 若输入的requires_grad为False，需立即开启梯度追踪；
• 若损失的grad_fn为None，说明损失计算过程中存在切断梯度链的操作，需逐一排查中间步骤。

关于是否替换所有numpy函数 #

是的，只要是参与前向传播、最终影响损失计算的numpy操作，必须替换为PyTorch实现，否则会切断梯度传播链，导致无法获取输入图像的梯度。仅不影响损失的辅助性操作可保留numpy实现。

内容的提问来源于stack exchange，提问作者Curry