PyTorch中如何冻结卷积层 仅更新任意结构Sequential分类块权重

之前的代码直接访问classifiers[i].weight.data，是适配单个nn.Linear层的写法——Linear层本身自带顶层的weight、bias可训练属性。现在替换成nn.Sequential容器后，这个容器本身不直接持有可训练参数，所有weight/bias都分散在内部的各个子层上，直接访问自然会报错。更何况手动逐参数写data减法的逻辑本身冗余度极高，后续分类器结构稍微变一下就要重新写遍历逻辑，完全不具备通用性。

PyTorch的优化器机制天生支持「仅更新指定参数集合」的需求，不需要手动计算梯度差、逐个子层找权重，只要从参数分组阶段做好隔离，就能从根源上保证卷积层权重完全不被改动。

核心实现步骤 #

• 初始化阶段：为每个分类器单独创建独立优化器
  等所有分类器的Sequential结构定义完成后，直接遍历每个分类器模块，把它的所有参数传入独立的优化器。优化器会自动递归捕获该模块下所有可训练参数，不管你后续给Sequential加多少全连接层、卷积层、归一化层，都不需要修改这部分代码：

  # 在模型完成所有模块定义后执行
  # 可根据需求替换为Adam、RMSprop等任意PyTorch内置优化器，参数收集逻辑无需改动
  self.classifier_optimizers = [
      torch.optim.SGD(
          params=classifier.parameters(),  # 自动递归收集Sequential内部所有可训练参数
          lr=self.learning_rate
      ) for classifier in self.classifiers
  ]
  

  这里的关键是：每个优化器的参数列表里，只有对应分类器Sequential块的参数，前面卷积主干的参数从来不会被传入优化器，从机制上就不存在被更新的可能。

• 训练阶段：走优化器标准更新流程替代手动改data
  之前手动修改.data的写法很容易出现梯度未清零、漏算子层参数的问题，替换成优化器的标准三步流程即可，同时适配每个分类器的独立损失权重alpha[i]：

  for i in range(len(loss_per_layer)):
      # 清除当前分类器上一次迭代残留的旧梯度，避免梯度累加
      self.classifier_optimizers[i].zero_grad()
      # 反向传播，保留计算图供其他层的损失计算复用
      loss_per_layer[i].backward(retain_graph=True)
      # 按配置给当前分类器设置对应的学习率（带alpha权重缩放）
      for param_group in self.classifier_optimizers[i].param_groups:
          param_group['lr'] = self.learning_rate * self.alpha[i]
      # 执行参数更新：仅修改当前优化器持有的分类器参数
      self.classifier_optimizers[i].step()
  

• 就算反向传播时梯度顺着计算图流回了前面的卷积主干层，因为卷积层的参数从来没有被传入任何一个分类器对应的优化器，optimizer.step()方法根本没有权限修改这些参数的取值，完全不存在卷积层权重被意外改动的风险。
• 这个方案完全不绑定Sequential的具体内部结构：后续不管你把分类器从两层Linear改成带卷积、归一化的复杂结构，只要所有子模块都挂在原来的classifiers[i]容器下，优化器就会自动识别所有可训练参数，不需要调整更新逻辑。
• 相比手动逐个子层遍历找weight、bias的写法，这个方案不会漏掉像BatchNorm可训练参数、卷积层偏置这类藏在子模块里的可训练权重，更新完整性更有保障。

内容的提问来源于stack exchange，提问作者Kroshtan