PyTorch下基于VGG19预训练迁移学习的VQA模型图像特征预提取实现
预提取VGG19图像特征用于VQA训练的方案可行性
该方案完全可行,属于VQA任务入门阶段解决训练性能瓶颈的标准操作。VGG19作为固定特征提取器,不需要在主模型训练阶段参与前向传播,提前完成全数据集特征提取后存储为数组,训练阶段直接从内存加载特征,可将训练阶段的GPU计算开销降低60%以上,完全避免反复运行CNN前向的冗余计算。
你当前编写的代码存在几处会影响落地的问题:
- 代码中定义的
in_features属于内部类属性,但初始化全连接层时直接调用未加self前缀的同名变量,会触发变量未定义的运行错误 - VGG19预训练模块目前和VQA主模型绑定在同一个计算图中,没有做梯度冻结,会产生不必要的计算图占用
- 原forward中被注释掉的
torch.no_grad()如果直接开启,会阻断后续全连接层的反向传播,和当前绑定训练的逻辑不匹配
独立VGG19特征提取模块的实现流程
1. 构建完全脱离VQA主模型的独立特征提取器
提取器的设计要和你原来的img_CNN输出维度对齐,保证后续替换时不需要改动VQA主模型的融合逻辑:
import torch import numpy as np from torchvision import models, transforms from torch.utils.data import DataLoader class IndependentVGG19Extractor(torch.nn.Module): def __init__(self, target_feature_dim=None): super().__init__() # 加载ImageNet预训练的VGG19权重 vgg = models.vgg19(pretrained=True) # 移除VGG原始的最终分类全连接层,保留前面所有卷积、池化、全连接层的输出 self.backbone = torch.nn.Sequential(*list(vgg.children())[:-1]) # 对齐原img_CNN的投影层逻辑:如果需要映射到固定特征维度,就初始化对应线性层 self.feature_proj = None if target_feature_dim is not None: raw_vgg_dim = vgg.classifier[-1].in_features self.feature_proj = torch.nn.Linear(raw_vgg_dim, target_feature_dim) # 全模块冻结,不参与梯度更新 for param in self.parameters(): param.requires_grad = False # 固定为评估模式,关闭Dropout、批量归一化的训练状态 self.eval() def forward(self, x): # 全程关闭梯度计算,减少显存占用 with torch.no_grad(): feat = self.backbone(x) # 把卷积输出的三维特征拉平为一维向量 feat = feat.view(feat.size(0), -1) # 如果配置了投影层,输出和原img_CNN完全一致的维度 if self.feature_proj is not None: feat = self.feature_proj(feat) return feat
2. 对接图像数据加载器,批量提取特征并保存为NumPy数组
注意:这一步使用的图像预处理流程,必须和VGG19预训练时使用的ImageNet数据预处理严格对齐,否则提取的特征分布会出现偏移,直接影响VQA模型精度。
示例代码如下:
# VGG19标准图像预处理流程 img_transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 初始化提取器,按照原img_CNN配置的img_size设置目标输出维度 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") extractor = IndependentVGG19Extractor(target_feature_dim=你的img_size参数值).to(device) # 配置数据加载器:返回格式必须为(图像张量,图像唯一ID),shuffle设为False避免顺序错乱 extractor_loader = DataLoader( your_custom_image_dataset, batch_size=64, shuffle=False, num_workers=4 ) # 存储特征和对应ID的容器 all_features = [] all_image_ids = [] with torch.no_grad(): for batch_imgs, batch_img_ids in extractor_loader: batch_imgs = batch_imgs.to(device) # 提取单批次特征 batch_feats = extractor(batch_imgs) # 转回CPU端的NumPy数组,避免长期占用GPU显存 all_features.append(batch_feats.cpu().numpy()) all_image_ids.extend(batch_img_ids.numpy()) # 拼接为完整的二维数组:shape为(数据集总图像数, 特征维度) all_features = np.concatenate(all_features, axis=0) all_image_ids = np.array(all_image_ids) # 保存为压缩NumPy文件,绑定ID和特征避免顺序混乱 np.savez( "vqa_precomputed_vgg19_features.npz", image_features=all_features, image_ids=all_image_ids )
3. 改造原VQA主模型,接入预提取特征
原VQA模型移除和VGG绑定的图像CNN模块,训练时直接读取预存的特征,不再执行图像前向过程:
class vqamodel(torch.nn.Module): def __init__(self, output_dim,input_dim, emb_dim, hid_dim, n_layers, dropout, answer_len, que_size, img_size): super(vqamodel,self).__init__() # 移除原有的img_CNN实例化代码 self.question=question_lstm(input_dim, emb_dim, hid_dim, n_layers, dropout,output_dim,que_size) self.tanh=nn.Tanh() self.relu=nn.ReLU() self.dropout=nn.Dropout(dropout) self.fc1=nn.Linear(que_size,answer_len) self.softmax=nn.Softmax(dim=1) def forward(self, precomputed_image_feat, question): # 直接使用预提取的图像特征完成融合,不再跑VGG前向 image_emb = precomputed_image_feat question_emb=self.question(question) combine =question_emb*image_emb out_feature=self.fc1(combine) out_feature=self.relu(out_feature) return out_feature
落地注意事项
- 如果原img_CNN中的投影全连接层需要在VQA训练阶段同步微调,预提取环节就不要加入该投影层,只提取VGG backbone输出的25088维原始特征,把投影层保留在VQA主模型中,兼顾性能优化和模型微调能力
- 存储特征时必须绑定唯一图像ID,不要仅靠数组索引做映射,后续数据集打乱、做数据增强时可以靠ID快速索引对应特征
- 若数据集规模较大,单个数组占用内存过高,可以按批次拆分存储多个npz文件,加载时建立ID到文件位置的映射表即可
内容的提问来源于stack exchange,提问作者O.H
相关产品推荐
相关产品推荐

