Android端TFLite与PC端insightface推理结果差异求助

问题背景 #

我是Android TFLite新手，已将PyTorch版本的ArcFace模型转换为TFLite模型用于Android端推理，转换流程为PyTorch→ONNX→TFLite（采用onnx2tflite工具，FP16精度）。

目前已确认Android端Bitmap预处理逻辑与PyTorch、PC端TFLite完全一致，输入图像相同，张量缓冲区数值一致（仅轴顺序不同），但Android端推理输出的数值范围与PC端完全不同，多次重新转换模型仍无法解决该问题。

相关代码片段 #

Kotlin预处理代码 #

private val fvtfImageProcessor by lazy {
    ImageProcessor.Builder()
        .add(NormalizeOp(0f, 255f))
        .add(NormalizeOp(0.5f, 0.5f))
        .build()
}

Kotlin推理Helper类 #

class FaceVericiationHelper(private val tflite: Interpreter){
    private val feature = arrayOf(FloatArray(512))

    fun predict(image: TensorImage): Pair<String, Float> {
        val start = System.currentTimeMillis()
        tflite.run(image.buffer, feature)
        val end_forward = System.currentTimeMillis()

        return Pair<String, Float>("as", 1f)
    }
}

Kotlin推理调用代码 #

val fv_tfImageBuffer = TensorImage(DataType.FLOAT32)
var am_ : AssetManager = this.assets
val input_ = BufferedInputStream(am_.open("test.png"))
val alignedBitmapBuffer = BitmapFactory.decodeStream(input_)
val fv_tfImage = fvtfImageProcessor.process(fv_tfImageBuffer.apply { load(alignedBitmapBuffer) })
val f = face_verificator.predict(fv_tfImage)

PyTorch转ONNX代码 #

## PyTorch to ONNX
img_size = (112, 112)
batch_size = 1
onnx_model_path = '../weights/model_24.onnx'

model = get_model('r100', fp16=False, use_cbam=False)
model.load_state_dict(torch.load('../weights/model_24.pt'))
model.eval()

sample_input = torch.rand((batch_size, 3, *img_size))

y = model(sample_input)

torch.onnx.export(
    model,
    sample_input, 
    onnx_model_path,
    verbose=False,
    input_names=['input'],
    output_names=['output'],
    opset_version=12
)

排查与解决方法 #

• 验证FP16模型兼容性：部分低端Android设备不支持FP16硬件加速，会自动降级到FP32运行，可能引发数值偏差。先转换为FP32精度的TFLite模型测试，看输出是否与PC端一致。
• 确认输入轴顺序匹配：PyTorch输入格式为[N,C,H,W]，Android TensorImage加载Bitmap默认是[H,W,C]，需确认预处理是否完成轴转换。打印Android端输入张量形状，确保为[1,3,112,112]，与PyTorch格式一致。
• 检查归一化逻辑等价性：两次NormalizeOp等价于(pixel/255 - 0.5)/0.5，需确认PyTorch端预处理逻辑完全相同。同时注意Bitmap默认是BGR通道，PyTorch若用RGB输入，需在Android端完成通道转换。
• 验证ONNX模型正确性：在PC端用ONNX Runtime运行ONNX模型，输入与PyTorch相同的张量，对比输出是否一致。若ONNX输出已异常，需检查PyTorch转ONNX参数：如opset版本是否适配、是否开启常量折叠、模型是否包含ONNX不支持的算子。
• 检查TFLite模型输入输出属性：用tflite_inspect model --model_path=your_model.tflite工具查看模型输入输出的形状、数据类型，确认输入为FP32（与Android端TensorImage类型匹配），避免因类型不匹配导致数值异常。
• 排查输出张量初始化问题：FaceVericiationHelper中固定初始化的feature数组可能存在未被覆盖的垃圾值，尝试每次推理时重新创建输出数组，或打印完整输出值确认有效性。
• 调整TFLite Interpreter配置：不同推理后端（NNAPI、GPU、CPU）可能产生数值差异，强制使用CPU后端测试：

  val options = Interpreter.Options().apply {
      setUseNNAPI(false)
      setNumThreads(4)
  }
  val tflite = Interpreter(modelBuffer, options)
  

内容的提问来源于stack exchange，提问作者dudskrk