如何将RGBA_8888格式图像转为ByteBuffer输入TFLite模型？

核心问题分析 #

你的代码中存在几个关键错误，导致每次输入模型的都是空白图像，因此置信度始终固定：

1. 创建的Bitmap是空的：Bitmap.createBitmap(imageProxy.width, imageProxy.height, Bitmap.Config.ARGB_8888)仅生成了指定尺寸的空位图，没有将ImageProxy中的实际图像数据写入。
2. 模型实例重复创建销毁：每次分析帧时都调用ModelFull.newInstance()和model.close()，不仅性能极差，还可能导致资源泄漏。
3. 主线程执行分析：使用MainExecutor会阻塞UI线程，影响应用流畅度。
4. 未处理图像方向：CameraX输出的图像可能带有旋转角度，直接使用会导致图像方向错误。

正确实现代码 #

1. 全局复用模型实例

避免重复创建销毁模型，在Activity生命周期中初始化和释放：

private var model: ModelFull? = null

override fun onCreate(savedInstanceState: Bundle?) {
    super.onCreate(savedInstanceState)
    // 初始化模型
    model = ModelFull.newInstance(this)
    // ...其他初始化逻辑
}

override fun onDestroy() {
    super.onDestroy()
    // 释放模型资源
    model?.close()
}

2. 配置ImageAnalysis并实现正确的图像转换

// 配置ImageAnalysis
val imageAnalysis = ImageAnalysis.Builder()
    .setTargetResolution(Size(224, 224)) // 直接设置模型输入尺寸，减少缩放开销
    .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST) // 只处理最新帧
    .build()

// 设置后台线程分析器
imageAnalysis.setAnalyzer(Executors.newSingleThreadExecutor()) { imageProxy ->
    try {
        // 1. 将ImageProxy转换为Bitmap
        val originalBitmap = imageProxy.toBitmap()
        // 2. 校正图像旋转角度（CameraX输出的图像可能有旋转）
        val correctedBitmap = correctImageOrientation(originalBitmap, imageProxy.imageInfo.rotationDegrees)
        // 3. 缩放至模型输入尺寸
        val resizedBitmap = Bitmap.createScaledBitmap(correctedBitmap, 224, 224, true)
        
        // 4. 将Bitmap转换为符合要求的ByteBuffer
        val byteBuffer = convertBitmapToByteBuffer(resizedBitmap)
        
        // 5. 运行模型推理
        model?.let {
            val inputFeature0 = TensorBuffer.createFixedSize(intArrayOf(1, 224, 224, 3), DataType.FLOAT32)
            inputFeature0.loadBuffer(byteBuffer)
            val outputs = it.process(inputFeature0)
            val confidences = outputs.outputFeature0AsTensorBuffer.floatArray
            Log.d("ModelResult", "Confidences: ${Arrays.toString(confidences)}")
        }
    } finally {
        // 必须关闭ImageProxy，否则CameraX会停止输出帧
        imageProxy.close()
        // 回收Bitmap释放内存
        originalBitmap.recycle()
        correctedBitmap.recycle()
        resizedBitmap.recycle()
    }
}

// 扩展函数：将ImageProxy转换为Bitmap
fun ImageProxy.toBitmap(): Bitmap {
    val image = this.image ?: throw IllegalStateException("ImageProxy contains no image data")
    val buffer = image.planes[0].buffer
    val bytes = ByteArray(buffer.remaining())
    buffer.get(bytes)
    return BitmapFactory.decodeByteArray(bytes, 0, bytes.size)
}

// 校正图像旋转角度
private fun correctImageOrientation(bitmap: Bitmap, rotationDegrees: Int): Bitmap {
    if (rotationDegrees == 0) return bitmap
    val matrix = Matrix()
    matrix.postRotate(rotationDegrees.toFloat())
    return Bitmap.createBitmap(bitmap, 0, 0, bitmap.width, bitmap.height, matrix, true)
}

// 将Bitmap转换为归一化的ByteBuffer
private fun convertBitmapToByteBuffer(bitmap: Bitmap): ByteBuffer {
    val byteBuffer = ByteBuffer.allocateDirect(4 * 224 * 224 * 3) // 使用直接内存，适配JNI交互
    byteBuffer.order(ByteOrder.nativeOrder())
    val intValues = IntArray(224 * 224)
    bitmap.getPixels(intValues, 0, bitmap.width, 0, 0, bitmap.width, bitmap.height)
    
    var pixelIndex = 0
    for (i in 0 until 224) {
        for (j in 0 until 224) {
            val pixelValue = intValues[pixelIndex++]
            // 提取R/G/B通道，归一化到0-1范围（若模型要求-1到1，改为(val/127.5f)-1f）
            val r = ((pixelValue shr 16) and 0xFF) / 255.0f
            val g = ((pixelValue shr 8) and 0xFF) / 255.0f
            val b = (pixelValue and 0xFF) / 255.0f
            byteBuffer.putFloat(r)
            byteBuffer.putFloat(g)
            byteBuffer.putFloat(b)
        }
    }
    return byteBuffer
}

关键优化点说明 #

• 实际图像数据写入：通过toBitmap()扩展函数将ImageProxy的图像数据转换为真实Bitmap，解决空图像问题。
• 模型复用：全局初始化模型，仅在Activity销毁时释放，大幅提升性能。
• 后台线程执行：使用Executors.newSingleThreadExecutor()避免阻塞UI线程。
• 图像方向校正：根据CameraX返回的旋转角度调整图像，保证输入方向与模型训练时一致。
• 内存优化：使用allocateDirect分配直接内存，减少JNI拷贝开销；及时回收Bitmap避免OOM。

内容的提问来源于stack exchange，提问作者Keshav Khetan