是否可以将CNN与RNN结合用于图文配对的多模态识别任务？

这个方案完全可行，是多模态分类任务的经典实现思路，刚好适配你当前的业务场景：

• CNN是图像处理领域的成熟方案，你可以选ResNet、MobileNet这类轻量 backbone 提取图片的视觉特征，输出固定维度的特征向量，过滤掉无效像素干扰，保留和交通工具类别相关的核心特征。
• RNN（实际开发更推荐用LSTM/GRU，能规避原生RNN的梯度消失问题）非常适合处理你提到的短文本描述，先把文本转成词嵌入向量再输入RNN，就能提取到和属性相关的语义特征。
• 两类特征提取完成后，直接做特征拼接再接入全连接层做三类分类输出即可，训练时可以把两个模态的损失加权求和，最终效果会比单用图像或单用文本好很多，两个模态的特征可以互相补全，比如图像角度不好识别的时候可以靠文本属性纠错，文本描述有歧义的时候可以靠视觉特征校准。

如果后续你的文本描述长度变短、属性更固定，也可以替换成更轻量的文本编码方案，不过当前用RNN是完全合理的，也方便后续扩展更长的文本描述。

• 经典多模态论文：早期VQA、图文检索领域的基线模型大多采用CNN提图像+RNN提文本的架构，你可以找这类领域的入门综述和基线论文，直接复用它们的特征融合、联合训练的逻辑。
• 深度学习框架官方教程：PyTorch、TensorFlow的官方文档里都有多模态任务的入门示例，包含完整的特征提取、拼接、训练的可运行代码，注释覆盖了全流程，你只需要修改数据加载部分适配自己的数据集即可。
• 高校公开课程资料：很多计算机院校的深度学习、多模态学习公开课中，都会专门讲解CNN与RNN结合的架构设计、常见调优坑点，部分还会配套相关的作业代码可以参考。
• 开发者社区实践内容：各类技术社区中有大量开发者做过类似的图文多模态分类、交通工具识别的落地实践，会放出完整的实现步骤和调优经验，能帮你避开很多从零开发的常见问题。

内容的提问来源于stack exchange，提问作者Adam