如何在已有模型中删除/替换网络层？如何在预训练网络中删除指定层、按类型替换层？

嘿，我来分享下在PyTorch里处理这些网络层修改的实用方法，都是实际项目里常用的操作，分情况给你拆解：

这里得分模型是Sequential顺序结构还是自定义的类模型两种情况来处理：

删除网络层 #

情况1：Sequential模型 #

如果你的模型是用nn.Sequential搭建的，操作就很直观，直接用pop()删除指定索引的层，或者重新构建一个新的Sequential只保留需要的层：

import torch.nn as nn

# 原Sequential模型
model = nn.Sequential(
    nn.Conv2d(3, 16, 3),
    nn.ReLU(),
    nn.MaxPool2d(2),
    nn.Linear(16*13*13, 10)
)

# 方法1：删除最后一层Linear
model.pop()
# 现在model变成：Conv2d -> ReLU -> MaxPool2d

# 方法2：保留前3层，重新构建
new_model = nn.Sequential(*list(model.children())[:3])

情况2：自定义类模型 #

如果是继承nn.Module的自定义模型，你可以直接修改模型的属性，或者重写forward方法跳过不需要的层：

class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3,16,3)
        self.relu = nn.ReLU()
        self.pool = nn.MaxPool2d(2)
        self.fc = nn.Linear(16*13*13,10)
    
    def forward(self, x):
        x = self.conv1(x)
        x = self.relu(x)
        x = self.pool(x)
        x = self.fc(x)
        return x

model = MyModel()

# 删除fc层：直接把该属性设为None，或者在forward里跳过
# 方法1：修改属性
del model.fc
model.fc = None

# 方法2：重写forward（更稳妥）
def new_forward(self, x):
    x = self.conv1(x)
    x = self.relu(x)
    x = self.pool(x)
    # 跳过fc层
    return x

MyModel.forward = new_forward

替换网络层 #

同样分两种结构：

情况1：Sequential模型 #

直接修改指定索引的层即可：

# 把原模型里的MaxPool2d替换成AvgPool2d
model[2] = nn.AvgPool2d(2)

情况2：自定义类模型 #

直接替换对应的属性：

# 把MyModel里的pool层从MaxPool换成AvgPool
model.pool = nn.AvgPool2d(2)

预训练模型通常是复杂的嵌套结构，咱们可以通过遍历子模块来定位和修改目标层：

删除单个ReLU激活层 #

比如拿预训练的ResNet18举例，假设要删除某个特定的ReLU层（比如layer1里第一个bottleneck的relu）：

import torchvision.models as models

model = models.resnet18(pretrained=True)

# 递归遍历所有子模块，找到目标ReLU并移除
def remove_relu(module, target_relu):
    for name, child in module.named_children():
        if child is target_relu:
            setattr(module, name, nn.Identity())  # 用恒等层代替ReLU，相当于删除
        else:
            remove_relu(child, target_relu)

# 找到layer1中第一个bottleneck的relu
target_relu = model.layer1[0].relu
remove_relu(model, target_relu)

这里用nn.Identity()代替原来的ReLU，前向传播时不会改变输入，相当于“删除”了这个激活层的作用。

按层类型替换（MaxPool2d→AvgPool2d） #

遍历所有子模块，把所有MaxPool2d替换成AvgPool2d：

def replace_maxpool_to_avgpool(module):
    for name, child in module.named_children():
        if isinstance(child, nn.MaxPool2d):
            # 替换成相同参数的AvgPool2d
            setattr(module, name, nn.AvgPool2d(kernel_size=child.kernel_size, 
                                               stride=child.stride, 
                                               padding=child.padding))
        else:
            replace_maxpool_to_avgpool(child)

# 对预训练ResNet18执行替换
replace_maxpool_to_avgpool(model)

如果只想替换特定位置的MaxPool，比如只替换第一个全局的maxpool，直接定位修改即可：

model.maxpool = nn.AvgPool2d(kernel_size=3, stride=2, padding=1)

这些方法都是灵活适配不同模型结构的，你可以根据自己的需求调整遍历或修改的方式~

内容的提问来源于stack exchange，提问作者mrgloom