为何YOLO-v8 TFLite模型运行速度慢于PyTorch模型？

我有一个训练完成的YOLOv8n PyTorch模型，用于视频多目标检测（涵盖10个类别：Bicycle、Chair、Box、Table、Plastic bag、Flowerpot、Luggage and bags、Umbrella、Shopping trolley、Person），使用Ultralytics库的导出功能转成TFLite模型后，视频流检测帧率从PyTorch版本的20FPS降到了8FPS，以下是问题原因和解决办法：

可能的原因 #

• 默认导出未做硬件优化：Ultralytics默认导出的TFLite是通用版本，没针对你的硬件（比如CPU的XNNPACK加速、GPU计算）做适配，而PyTorch模型可能自动利用了CPU的AVX指令集或CUDA加速。
• TFLite Python运行时开销：TFLite在Python环境下的默认解释器模式本身有额外调用开销，加上数据格式转换（numpy转TFLite张量）的耗时，拖慢了整体速度。
• 未启用模型量化：你导出的是FP32精度的TFLite模型，和PyTorch精度一致，但TFLite的优势在于低精度量化推理，默认FP32版本反而因框架额外开销变慢。
• Ultralytics封装的额外开销：Ultralytics的YOLO类加载TFLite模型时，内置的预处理/后处理逻辑没针对TFLite做优化，流程比PyTorch版本更繁琐。

针对性优化方案 #

1. 导出时启用量化与硬件优化 #

修改导出代码，加入量化和XNNPACK优化参数，生成适配CPU的高效TFLite模型：

from ultralytics import YOLO

model = YOLO("yolov8n_trained.pt")
# 导出INT8量化模型，开启内置优化
path = model.export(
    format="tflite",
    int8=True,  # INT8量化大幅提升CPU推理速度
    optimize=True,  # 启用TFLite内置优化策略
    opset=17  # 使用最新ONNX算子集，提升兼容性
)

2. 手动配置TFLite加速Delegate #

如果设备支持GPU（如带OpenCL的显卡或移动端），手动配置GPU Delegate；如果用CPU，强制启用XNNPACK加速：

from ultralytics import YOLO
import tflite_runtime.interpreter as tflite

# 加载TFLite模型并指定XNNPACK加速（Linux用libxnnpack.so，Windows用xnnpack.dll）
interpreter = tflite.Interpreter(
    model_path="yolov8n_trained.tflite",
    experimental_delegates=[tflite.load_delegate('libxnnpack.so')]
)
interpreter.allocate_tensors()

# 后续可手动实现预处理、推理、后处理，减少Ultralytics封装的额外开销

3. 轻量化预处理/后处理流程 #

Ultralytics的model(img)包含通用逻辑，手动实现更简洁的预处理，避免不必要的数据转换：

import numpy as np
import cv2

def preprocess(img, input_size=(640, 640)):
    # 直接用OpenCV完成缩放、格式转换和归一化
    img = cv2.resize(img, input_size)
    img = img.transpose((2, 0, 1))  # HWC转CHW格式
    img = np.expand_dims(img, axis=0)
    img = img.astype(np.float32) / 255.0
    return img

# 推理时直接传入预处理后的张量，减少框架自动处理的耗时

4. 统一运行环境对比 #

确认PyTorch模型是否启用了CUDA加速：如果PyTorch用GPU而TFLite默认用CPU，帧率差距是必然的。此时要么让TFLite也用GPU加速，要么都切换到CPU测试，确保对比环境一致。

验证方法 #

• 单独测试推理耗时：排除视频读取、绘图等环节，只测试单帧模型推理时间，定位帧率瓶颈。
• 对比不同量化版本：导出FP16、INT8等不同精度的TFLite模型，测试各自帧率，选择最优方案。

内容的提问来源于stack exchange，提问作者Anonymous