如何融合不同数据集训练的YOLOv5s与YOLOv4实现单路视频检测？

这个需求100%可实现，没有不可逾越的技术障碍，而且因为两个模型检测的类别完全不重合，连类别冲突处理的步骤都省了，完全不需要重新训练模型，用你手里现有的权重就能做，实现成本很低。

• 推理环境适配
  选一个同时支持两类模型的推理后端就行，比如ONNX Runtime、OpenCV DNN、TensorRT都可以，提前把你手里的YOLOv5s、YOLOv4权重分别转成对应后端支持的格式，不用搭两套独立的推理环境，减少不必要的依赖。
• 视频流处理逻辑
  单路视频流逐帧解码后，把同一帧分别送进两个模型做并行推理，别串行跑——串行相当于要等一个模型出结果再跑第二个，延迟直接翻倍，并行跑的话总推理延迟基本等于两个模型里推理更慢那个的单模型延迟。
• 结果合并
  两个模型各自出检测结果后，先把检测框的坐标统一映射回原始视频帧的尺寸（因为两个模型要求的输入分辨率大概率不一样，直接输出的框坐标是对应模型输入尺寸的，不映射的话框的位置会错），之后把两组结果的框坐标、置信度、类别ID直接拼到一起就行。因为两个模型的检测类别完全不重合，不会出现类别ID重复的问题，不需要额外做ID映射调整。
• 实时性优化
  要是追求高帧率，就把两个模型都转成TensorRT格式开FP16精度推理，再把视频解码、模型推理、检测框绘制三个环节拆成流水线并行跑，1080P分辨率的视频在普通消费级显卡上跑到30FPS以上的实时标准完全没问题。
• 避坑提醒
  两个模型的输入预处理必须严格对齐各自训练时的逻辑：比如YOLOv5s默认输入是RGB通道、像素值归一化到0~1区间，不少YOLOv4的实现用的是BGR通道、像素值不做归一化，预处理逻辑错了会直接导致检测精度掉得没法看，这点一定要对照你当初训练两个模型时的预处理代码核对。

内容的提问来源于stack exchange，提问作者hamza