Yolov7激活图可视化梯度上升代码的问题咨询

问题背景与疑问 #

我正在为基于卷积的YOLOv7网络编写梯度上升代码，通过调整随机噪声图像来最大化指定激活图。参考相关项目后有三个疑问：

• 当前使用的损失函数是否正确？
• 如何重构代码解决报错「RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation」？
• 移除input_noise的requires_grad=True能否解决该错误？

原代码如下：

def gradient_ascent(self):
    input_noise = torch.randn(1, 3, 224, 224, requires_grad=True, device=self.device)
    self.model.eval()
        
    # activate the hook
    layer = self.model.model[self.layer_idx]
    handle = layer.register_forward_hook(self.hook_fn)
        
    optimizer = torch.optim.Adam([input_noise], lr=self.lr)
        
    for i in range(self.steps):
        self.model(input_noise)
        loss = -self.activations[0][:, self.feature_map_idx, :, :].mean()
        optimizer.zero_grad()
        loss.backward(retain_graph=True)
        optimizer.step()
        
    handle.remove()
    return input_noise

一、损失函数正确性判断 #

你的损失函数逻辑是对的：通过负的指定特征图均值作为损失，梯度上升时会不断调整输入，让该特征图的激活值尽可能大，完全符合“最大化指定激活图”的目标。唯一需要注意的是要确保self.activations在hook函数中正确捕获了目标层的输出，没有被其他操作覆盖或篡改。

二、解决inplace操作报错的代码重构 #

这个报错通常是因为YOLOv7在eval模式下仍存在inplace操作（比如SiLU激活、BN层的优化逻辑，或是hook函数里的inplace修改），破坏了梯度计算的依赖链。可以通过以下方案重构代码：

方案1：修正hook逻辑+移除不必要的retain_graph #

去掉retain_graph=True（每次迭代后计算图无需保留），同时修改hook函数存储激活值的拷贝，避免原张量被inplace操作影响：

def gradient_ascent(self):
    input_noise = torch.randn(1, 3, 224, 224, requires_grad=True, device=self.device)
    self.model.eval()
    
    # 重写hook函数，存储激活值的拷贝而非原张量
    def safe_hook_fn(module, input, output):
        self.activations = [output.detach().clone()]
    
    layer = self.model.model[self.layer_idx]
    handle = layer.register_forward_hook(safe_hook_fn)
    
    optimizer = torch.optim.Adam([input_noise], lr=self.lr)
    
    for i in range(self.steps):
        optimizer.zero_grad()
        # 每次迭代前清空激活值，避免累积干扰
        self.activations = []
        self.model(input_noise)
        loss = -self.activations[0][:, self.feature_map_idx, :, :].mean()
        loss.backward()  # 移除retain_graph=True
        optimizer.step()
    
    handle.remove()
    return input_noise

方案2：禁用模型中的inplace优化 #

YOLOv7的部分层默认开启inplace操作，可以遍历模型手动禁用：

# 在加载YOLOv7模型后添加这段代码
for module in self.model.modules():
    if hasattr(module, 'inplace'):
        module.inplace = False

三、移除requires_grad=True的影响 #

绝对不能这么做，反而会彻底失效。梯度上升的核心是对input_noise求导并更新它，requires_grad=True是开启梯度追踪的必要条件。移除后，optimizer.step()不会对输入有任何修改，而且报错的根源是模型内部的inplace操作，和这个参数完全无关。

内容的提问来源于stack exchange，提问作者Zuko36