如何训练以图像为输入的多输出PyTorch模型

你现在要做的是图像输入的多输出预测任务，可按以下流程开展训练：

你提供的数据集样例如下：

• 首先明确14个特征的属性：逐个区分每个特征是离散分类变量（比如类别标签）还是连续数值变量（比如长度、占比类数值），不同属性的特征对应的损失函数、输出层设计完全不同。
• 标注校验与数据集拆分：先对齐每一张输入图像和对应的14个特征标注，剔除标注缺失、标注错位的无效样本，再按8:1:1或者7:2:1的比例拆分训练集、验证集、测试集，拆分时要保证14个特征的分布在三个数据集内基本一致，避免出现分布偏移。
• 图像预处理：统一图像尺寸到常用输入规格（比如224224、512512），训练阶段添加随机裁剪、水平/垂直翻转、亮度对比度扰动、高斯模糊等数据增强策略避免过拟合，所有图像像素值归一化到匹配后续预训练模型的输入分布。

优先用迁移学习降低训练成本，不需要从零训模型：

• 主干网络选已经在大规模图像数据集上预训练过的CV模型即可，ResNet系列、EfficientNet系列、轻量型的MobileNet或者ViT系列都可以，把主干网络原有的单输出分类头去掉。
• 自定义输出头：如果14个特征全是回归类数值，直接接一个输出维度为14的全连接层即可；如果是分类、回归特征混合的情况，拆分多个输出分支，分类特征对应的分支加Softmax激活，回归特征对应的分支不加激活或者加Sigmoid限制输出范围。

简化的PyTorch风格实现示例如下：

import torch
import torchvision.models as models

# 加载预训练主干网络
backbone = models.resnet50(pretrained=True)
# 移除原有分类头
in_feature = backbone.fc.in_features
backbone.fc = torch.nn.Identity()

# 自定义输出头，示例默认14个特征全为回归类
head = torch.nn.Linear(in_feature, 14)

# 拼接完整模型
model = torch.nn.Sequential(backbone, head)

• 损失函数设计：回归特征用MSE或者MAE损失，分类特征用交叉熵损失，多个损失按照特征重要性分配权重后加和作为总损失。
• 优化器与学习率策略：优先选AdamW优化器，初始学习率设置在1e-4到1e-5区间即可，因为用了预训练主干网络，建议前2-3轮冻结主干网络只训输出头，之后解冻整体微调，主干网络的学习率设为输出头的1/10，效果会更好。
• 监控指标设计：验证阶段不要只看总损失，要单独监控每个特征的预测精度：回归特征看MAE、R²值，分类特征看准确率、F1值，方便快速定位哪个特征学习效果不符合预期。

• 如果出现过拟合：优先加大数据增强强度，再依次尝试添加Dropout层、增加L2正则权重、降低模型容量。
• 如果单个特征精度始终不达标：优先检查该特征的标注质量，确认是否标注错误过多、样本分布极度不均衡，针对性做标注修正或者类别重采样即可。
• 模型收敛后，在完全没参与训练的测试集上做最终评估，确认泛化能力符合要求即可落地使用。

内容的提问来源于stack exchange，提问作者veer maruthesh