YOLO导出TFLite模型在Flutter应用中无法兼容GPU Delegate排查

问题 #

使用ultralytics包将YOLOv8模型（yolov8m-2023-04-25.pt）导出为TFLite格式，在Flutter应用中通过tflite_flutter包加载使用。不启用GPU Delegate时运行正常，但添加GPU Delegate后加载模型触发错误：

ArgumentError (Invalid argument(s): Unable to create interpreter.)

测试TF 2.12的示例模型时，GPU Delegate可正常运行。

导出命令：

yolo export model=yolov8m-2023-04-25.pt format=tflite

加载模型代码：

final gpuDelegateV2 = tfl.GpuDelegateV2(
    options: tfl.GpuDelegateOptionsV2(
        isPrecisionLossAllowed: false,
        inferencePreference: tfl.TfLiteGpuInferenceUsage.fastSingleAnswer,
        inferencePriority1: tfl.TfLiteGpuInferencePriority.minLatency,
        inferencePriority2: tfl.TfLiteGpuInferencePriority.auto,
        inferencePriority3: tfl.TfLiteGpuInferencePriority.auto,
        maxDelegatePartitions: 1));

var interpreterOptions = tfl.InterpreterOptions()
  ..addDelegate(gpuDelegateV2);
final interpreter = await tfl.Interpreter.fromAsset('yolov8.tflite',
    options: interpreterOptions);

已用TF Analyzer检测模型GPU兼容性，结果显示兼容：

tf.lite.experimental.Analyzer.analyze(model_path="yolov8.tflite", gpu_compatibility=True)

调试设备：Samsung Galaxy A52

排查方向与解决方案 #

1. 调整YOLOv8 TFLite导出参数 #

默认导出的TFLite模型可能包含GPU Delegate不支持的算子或格式，建议添加以下参数重新导出：

• 启用FP16量化：

  yolo export model=yolov8m-2023-04-25.pt format=tflite half=True
  

  移动端GPU对FP16的支持普遍更好，你当前设置isPrecisionLossAllowed: false，FP32模型可能因设备GPU不支持部分运算失败。
• 强制兼容GPU算子集：添加opset=17参数，确保算子使用最新兼容版本：

  yolo export model=yolov8m-2023-04-25.pt format=tflite half=True opset=17
  

2. 修改GPU Delegate配置 #

当前配置的优先级和参数可能与Samsung Galaxy A52的Adreno 619 GPU不匹配，尝试简化配置：

final gpuDelegateV2 = tfl.GpuDelegateV2(
    options: tfl.GpuDelegateOptionsV2(
        isPrecisionLossAllowed: true, // 允许精度损失，适配更多GPU场景
        inferencePreference: tfl.TfLiteGpuInferenceUsage.fastSingleAnswer,
        inferencePriority1: tfl.TfLiteGpuInferencePriority.auto,
        inferencePriority2: tfl.TfLiteGpuInferencePriority.auto,
        inferencePriority3: tfl.TfLiteGpuInferencePriority.auto,
        maxDelegatePartitions: 0)); // 设为0让框架自动分配分区

var interpreterOptions = tfl.InterpreterOptions()
  ..addDelegate(gpuDelegateV2);
final interpreter = await tfl.Interpreter.fromAsset('yolov8.tflite',
    options: interpreterOptions);

• maxDelegatePartitions:1可能限制了模型的GPU分区，设为0让TFLite自动处理更稳妥。
• 禁用minLatency优先级，改为自动，避免强制设备不支持的低延迟模式。

3. 查看详细GPU兼容报告 #

虽然TF Analyzer显示整体兼容，但仍需检查具体算子的支持情况：

analyzer_result = tf.lite.experimental.Analyzer.analyze(model_path="yolov8.tflite", gpu_compatibility=True)
print(analyzer_result)

重点关注GPU compatibility check部分，若有算子被标记为不支持，需调整导出参数规避（比如启用量化或更换opset）。

4. 确认依赖版本匹配 #

检查ultralytics依赖的TensorFlow版本，确保tflite_flutter版本与之兼容（例如TF 2.12对应tflite_flutter 0.9.0及以上版本），版本不匹配可能导致Delegate加载失败。

内容的提问来源于stack exchange，提问作者Kamil Zieliński