PyTorch中将预训练CNN输出接入全连接网络并联合优化的实现方法

合并网络实现 #

你可以直接通过以下两种方式合并两个网络：

方法1：直接拼接Sequential（最简单）

因为你的两个网络都是nn.Sequential类型，直接拼接即可：

import torch.nn as nn
combined_model = nn.Sequential(model, next_model)

调用combined_model(inputs)就会自动完成「预训练CNN提取164维特征→全连接层输出分类结果」的全流程，输出shape为(X, 1)，符合需求。

方法2：自定义Module类（可扩展性更强）

如果后续需要在中间层加自定义逻辑，建议自定义模型类：

class CombinedModel(nn.Module):
    def __init__(self, pretrained_cnn, fc_head):
        super().__init__()
        self.pretrained_cnn = pretrained_cnn
        self.fc_head = fc_head
    
    def forward(self, x):
        feature = self.pretrained_cnn(x)
        output = self.fc_head(feature)
        return output

combined_model = CombinedModel(model, next_model)

联合优化配置 #

1. 基础配置（全参数训练）

如果需要同时更新预训练CNN和全连接层的所有参数，直接把两个网络的参数都传入优化器即可：

import torch.optim as optim
# 写法1：直接传入合并后模型的所有参数
optimizer = optim.Adam(combined_model.parameters(), lr=1e-4)
# 写法2：单独传两个模型的参数，效果和上面一致
# optimizer = optim.Adam(list(model.parameters()) + list(next_model.parameters()), lr=1e-4)

损失函数建议选择nn.BCELoss()，适配最后一层的Sigmoid二分类输出，如果你需要更好的数值稳定性，也可以去掉全连接层最后的Sigmoid，改用nn.BCEWithLogitsLoss()。

2. 进阶配置（分层学习率/阶段性训练）

为了避免破坏预训练CNN已经学到的特征，通常可以采用先冻结预训练层训全连接头，再解冻全参数训练的策略，同时给预训练层设置更小的学习率：

# 第一步：冻结预训练CNN的所有参数，仅训练全连接头
for param in model.parameters():
    param.requires_grad = False

# 训2-3轮后，解冻预训练层，设置分层学习率
for param in model.parameters():
    param.requires_grad = True
optimizer = optim.Adam([
    {'params': model.parameters(), 'lr': 1e-5}, # 预训练层用小学习率
    {'params': next_model.parameters(), 'lr': 1e-4} # 全连接头用大学习率
])

修改后的训练代码 #

criterion = nn.BCELoss()
for epoch in range(10):  # 可根据实际效果调整训练轮数
    running_loss = 0.0
    combined_model.train() # 开启训练模式，保证BN、Dropout层正常工作
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        # 标签调整为(X,1)维度，和模型输出对齐
        labels = labels.float().unsqueeze(1)

        optimizer.zero_grad()
        # 直接调用合并后的模型
        outputs = combined_model(inputs.float())
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if i % 2000 == 1999:
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

内容的提问来源于stack exchange，提问作者John