基于图像与音频多输入的猫狗分类模型融合方案咨询

1. 先分开训练双模型，再做后期融合 #

• 分别训练两个模型：一个用ResNet、EfficientNet这类CNN处理猫狗图像数据集完成图像分类；另一个把音频转成梅尔频谱图（用librosa就能实现），再用CNN或者YAMNet这类预训练音频模型完成音频分类。
• 拿到两个模型的预测概率后，直接做加权融合——比如给图像模型的预测概率设0.6的权重，音频模型设0.4，取加权后概率更高的类别即可。嫌手动调权重麻烦，也可以用逻辑回归当融合层，把两个模型的输出喂进去，让它自动学习最优权重。

2. 搭建端到端的双输入融合网络 #

• 别被Keras的表格+图像方案限制，直接搭建双分支神经网络：
  • 图像分支：将猫狗图像输入CNN（比如ResNet50），提取出特征向量。
  • 音频分支：要么把音频转成梅尔频谱图用CNN提取特征，要么直接用一维CNN处理音频波形，同样得到特征向量。
  • 把两个分支的特征向量拼接起来，接入全连接层做分类。这种方式能让模型自动学习两种模态之间的关联，效果可能比后期融合更好。

3. 用伪配对数据解决无对齐样本的问题 #

• 既然没有同一只猫狗的图像+音频配对数据，就用跨模态检索生成伪标签：
  • 先训练图像和音频的特征提取器，分别给所有图像、音频提取特征。
  • 对每张图像，在音频数据集中找出最相似的几条音频（用余弦相似度计算），给这些音频打上和图像一致的标签；反过来，每条音频也找相似图像打标签。
  • 用这些伪配对的数据训练融合模型，之后还能通过迭代优化逐步提升性能。

4. 用迁移学习节省训练成本 #

• 图像端直接用ImageNet上预训练好的ResNet，只微调最后几层分类头，不用从头训练，省时间还能保证精度。
• 音频端用AudioSet上预训练的YAMNet提取固定特征，再接一个简单的全连接层做分类，或者把这些特征和图像特征拼接后一起训练。

内容的提问来源于stack exchange，提问作者BakaKuma