如何让OpenVINO运行YOLOv4的推理速度达到OpenCV同等水平

• 图优化更彻底：OpenCV的DNN模块加载YOLO模型时会自动做针对性的层融合，比如将卷积、BN、Leaky ReLU层合并为单个融合算子，同时裁剪掉训练阶段的冗余节点；多数用户自行转换IR格式时未开启最高优化等级，也没有做YOLO专属的层融合，导致推理时算子调度开销更高。
• 精度配置更合理：OpenCV调用OpenVINO后端时默认开启FP16精度推理，CPU上FP16借助AVX2/AVX-512指令集的向量计算能力，速度比FP32快30%以上；多数用户手动转IR时默认用FP32精度，直接拖慢推理速度。
• 后处理开销极低：你测试的80ms已经包含了OpenCV内置C++实现的高度优化NMS，而你自行实现的原生Python NMS本身就有数量级的性能差距，且130ms的耗时仅为推理耗时还未包含后处理。
• 调用开销更低：OpenCV的DNN封装已经屏蔽了OpenVINO的冗余配置项，默认开启了CPU线程绑定、低延迟调度模式，多数用户原生调用OpenVINO时没有做对应的性能配置，额外增加了调度开销。

• 模型转换阶段优化：转换IR模型时添加参数--optimize=O3开启最高等级图优化，指定--data_type=FP16使用半精度推理，同时开启YOLO专属层融合，将检测头、NMS逻辑直接集成到IR计算图中，裁剪所有训练相关的冗余节点。
• 推理参数配置：初始化推理引擎时指定性能模式为PERFORMANCE_MODE_LATENCY（单图低延迟场景），开启CPU线程绑定，将推理线程绑定到物理核心，禁用超线程核心调度，根据实际使用场景设置匹配的批量大小，避免无效的批处理开销。
• 预处理&后处理优化：使用OpenVINO内置的预处理API完成归一化、颜色空间转换、尺寸调整等操作，减少Python侧内存拷贝开销；不要使用原生Python实现NMS，直接调用集成在计算图中的内置NMS，或是调用C++实现的NMS接口，后处理耗时可以从几十ms降低到1ms以内。
• 接口版本优化：使用2022.1及以上版本的OpenVINO API，新版API大幅降低了Python侧的调用开销，和C++ API的性能差距缩小到10%以内；如果对延迟要求极高，可以直接切换到C++ API调用，进一步降低语言层面的开销。

内容的提问来源于stack exchange，提问作者Josh Brown Kramer