PyTorch中如何解冻DenseNet的指定层？以DenseNet-161为例

核心思路 #

先全局冻结预训练模型的所有参数，再针对性解冻features模块中最后几个关键子模块（比如末尾的Dense Block和Transition层），最后替换分类器完成适配。这种方式既能复用预训练的底层通用特征，又能让高层特征适配新任务，同时控制计算开销。

具体实现代码 #

1. 加载预训练模型并全局冻结

import torch
import torchvision.models as models

# 加载预训练的DenseNet-161
model = models.densenet161(pretrained=True)

# 先冻结所有参数
for param in model.parameters():
    param.requires_grad = False

2. 针对性解冻最后几个子模块

DenseNet的features模块由多个Dense Block和Transition层依次组成，结构为：conv0 → norm0 → relu0 → pool0 → denseblock1 → transition1 → denseblock2 → transition2 → denseblock3 → transition3 → denseblock4。

你可以根据需求选择解冻范围：

• 仅解冻最后一个Dense Block

# 解冻denseblock4的所有参数
for param in model.features.denseblock4.parameters():
    param.requires_grad = True

• 解冻最后一个Transition层+最后一个Dense Block

# 解冻transition3和denseblock4
for param in model.features.transition3.parameters():
    param.requires_grad = True
for param in model.features.denseblock4.parameters():
    param.requires_grad = True

• 灵活解冻最后N个模块
  如果想快速指定解冻末尾N个模块，可通过子模块列表实现：

# 获取features下所有子模块的列表
features_submodules = list(model.features.children())
# 解冻最后2个模块（对应transition3和denseblock4）
for module in features_submodules[-2:]:
    for param in module.parameters():
        param.requires_grad = True

3. 替换分类器适配新任务

# 获取分类器输入特征数
num_ftrs = model.classifier.in_features
# 替换为适配二分类任务的线性层
model.classifier = torch.nn.Linear(num_ftrs, 2)

额外说明 #

• 解冻的模块数量可根据任务复杂度和计算资源调整：任务差异大、资源充足时，可多解冻1-2个Dense Block；反之则少解冻。
• 训练时，可给解冻的参数设置比分类器更小的学习率，避免预训练特征被过度破坏。

内容的提问来源于stack exchange，提问作者Ze0ruso