TFLite GPU Delegate在嵌入式Android设备C++推理中输出随机异常问题排查求助

从你的描述和代码来看，CPU模式正常、Python测试也没问题，说明模型本身没毛病，问题大概率出在GPU Delegate的使用细节上，不用急着重新编译TFLite预编译库，先从这几个方向排查：

1. 确保GPU-CPU数据同步（最可能的原因） #

当使用GPU Delegate时，输入/输出张量可能存储在GPU显存中，直接通过CPU指针读写时需要显式同步数据，否则会读取到未更新的随机内存值：

• 设置输入前，先让CPU获得输入张量的写入权限：

  interpreter->EnsureTensorDataIsWriteable(interpreter->inputs()[0]);
  

• 推理完成后，读取输出前，先让GPU把结果同步到CPU内存：

  interpreter->EnsureTensorDataIsReadable(interpreter->outputs()[0]);
  

修改后的输入设置和输出读取代码如下：

// set input
interpreter->EnsureTensorDataIsWriteable(interpreter->inputs()[0]);
float* input = interpreter->typed_input_tensor<float>(0);
for(int i=0; i<width*height*channel; i++)
    *(input+i) = 1;

// Inference
interpreter->Invoke();

// Check output
interpreter->EnsureTensorDataIsReadable(interpreter->outputs()[0]);
output_tensor = interpreter->tensor(interpreter->outputs()[0]);
printf("Result : %f\n",output_tensor->data.f[0]);

2. 规范GPU Delegate的生命周期与线程上下文 #

• 推理结束后记得释放GPU Delegate，避免内存泄漏或资源冲突：

  if(use_gpu) {
      TfLiteGpuDelegateV2Delete(delegate);
  }
  

• Android上GPU Delegate需要在拥有EGL上下文的线程中运行，如果你的推理逻辑在非UI线程执行，要确保线程有有效的EGL上下文（可以通过TfLiteGpuDelegateOptionsV2中的egl_context参数指定已有的上下文）。

3. 调整GPU Delegate的精度与优先级配置 #

部分GPU对FP16的兼容性可能存在问题，你可以强制使用FP32精度测试，同时调整推理优先级优先保证准确性：

auto options = TfLiteGpuDelegateOptionsV2Default();
options.inference_preference = TFLITE_GPU_INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER;
options.inference_priority1 = TFLITE_GPU_INFERENCE_PRIORITY_ACCURACY; // 优先保证精度
options.experimental_flags = TFLITE_GPU_EXPERIMENTAL_FLAGS_NONE; // 强制使用FP32精度
delegate = TfLiteGpuDelegateV2Create(&options);

4. 启用日志排查潜在错误 #

在Android设备上开启TFLite日志输出，查看GPU Delegate初始化或推理过程中是否有异常提示：

• 在代码开头添加日志初始化：

  tflite::LogToStderr();
  

• 运行程序后通过logcat查看输出，搜索TFLite或GPU相关的日志，确认是否有操作不支持、上下文异常等问题。

如果以上方法都无法解决问题，再考虑针对你的设备GPU架构重新编译优化版的TFLite库，但多数情况下，通过调整数据同步和配置就能解决问题。

内容的提问来源于stack exchange，提问作者WooJin