Android相机获取RGB图像及适配TensorFlow CNN实时推理咨询

嘿，我之前做Android端机器学习项目的时候刚好碰到过一模一样的问题——咱们一步步来解决格式适配和连续帧推理这两个核心问题：

一、搞定相机图像格式与模型输入的适配 #

你的CNN只接受100x100x3的RGB输入，而相机输出RGBA，咱们分三步处理：

1. 优先让相机输出更友好的格式（减少转换成本） #

如果用的是CameraX（现在官方推荐的相机框架，比Camera2省心太多），可以直接设置ImageAnalysis的输出格式为RGB_888或者YUV_420_888，尽量避开RGBA：

val imageAnalysis = ImageAnalysis.Builder()
    .setOutputImageFormat(ImageAnalysis.OUTPUT_IMAGE_FORMAT_RGB_888)
    .setTargetResolution(Size(100, 100)) // 直接设置目标尺寸，减少后续resize操作
    .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST) // 只保留最新帧，避免队列堆积
    .build()

要是你还在用旧的Camera2 API，也可以在createCaptureRequest里指定ImageFormat.RGB_888，不过还是建议转CameraX，能省不少踩坑的时间。

2. 把RGBA转成RGB并resize到模型要求的尺寸 #

如果已经拿到了RGBA格式的图像，用OpenCV或者Android原生API都能处理：

用OpenCV处理（效率更高，适合实时帧）

先把Camera输出的ImageProxy转成OpenCV的Mat，再做格式转换和resize：

// 把ImageProxy转成RGBA格式的Mat
Mat rgbaMat = new Mat(imageProxy.getHeight(), imageProxy.getWidth(), CvType.CV_8UC4);
ByteBuffer buffer = imageProxy.getPlanes()[0].getBuffer();
byte[] data = new byte[buffer.remaining()];
buffer.get(data);
rgbaMat.put(0, 0, data);

// RGBA转RGB
Mat rgbMat = new Mat();
Imgproc.cvtColor(rgbaMat, rgbMat, Imgproc.COLOR_RGBA2RGB);

// resize到100x100
Mat resizedMat = new Mat();
Imgproc.resize(rgbMat, resizedMat, new Size(100, 100));

用Android原生Bitmap处理（不用引入OpenCV的话）

// 把ImageProxy转成Bitmap
val bitmap = imageProxy.toBitmap()
// 创建RGB格式的Bitmap（避免RGBA的Alpha通道）
val rgbBitmap = Bitmap.createBitmap(bitmap.width, bitmap.height, Bitmap.Config.RGB_565)
val canvas = Canvas(rgbBitmap)
canvas.drawBitmap(bitmap, 0f, 0f, null)
// resize到100x100
val resizedBitmap = Bitmap.createScaledBitmap(rgbBitmap, 100, 100, true)

3. 把处理后的图像转成模型能接受的张量 #

不管用Mat还是Bitmap，最后要转成TensorFlow Lite的输入张量，记得做归一化（如果你的模型训练时是除以255的话）：

// 用Mat转张量示例
TensorBuffer inputBuffer = TensorBuffer.createFixedSize(new int[]{1, 100, 100, 3}, DataType.FLOAT32);
float[] floatValues = new float[100 * 100 * 3];
// 把Mat的像素值转成float并归一化
for (int i = 0; i < resizedMat.rows(); i++) {
    for (int j = 0; j < resizedMat.cols(); j++) {
        double[] pixel = resizedMat.get(i, j);
        floatValues[(i * 100 + j) * 3 + 0] = (float) pixel[0] / 255.0f;
        floatValues[(i * 100 + j) * 3 + 1] = (float) pixel[1] / 255.0f;
        floatValues[(i * 100 + j) * 3 + 2] = (float) pixel[2] / 255.0f;
    }
}
inputBuffer.loadArray(floatValues);

二、实现无按键连续帧推理 #

要做到自动对每一帧推理，核心是用相机框架的帧回调机制，完全不用手动触发：

1. 用CameraX的ImageAnalysis做帧监听 #

CameraX的ImageAnalysis组件会自动把每一帧图像传给你设置的Analyzer，不用按键触发：

// 创建后台线程执行推理，避免卡UI
val executor = Executors.newSingleThreadExecutor()

imageAnalysis.setAnalyzer(executor) { imageProxy ->
    // 在这里处理每一帧：格式转换、resize、推理
    processFrame(imageProxy)
    // 一定要调用close，不然相机资源会泄漏，导致相机卡住
    imageProxy.close()
}

2. 控制推理频率（可选，避免性能浪费） #

如果设备性能一般，或者不需要每一帧都推理，可以加个时间阈值，比如每300ms推理一次：

private var lastInferenceTime = 0L
private val inferenceInterval = 300L // 300ms一次推理

imageAnalysis.setAnalyzer(executor) { imageProxy ->
    val currentTime = System.currentTimeMillis()
    if (currentTime - lastInferenceTime >= inferenceInterval) {
        processFrame(imageProxy)
        lastInferenceTime = currentTime
    }
    imageProxy.close()
}

3. 性能优化小技巧 #

• 启用TensorFlow Lite的硬件加速：让推理跑在GPU/NPU上，提升速度：

  Interpreter.Options options = new Interpreter.Options();
  options.setUseNnapiEnabled(true);
  Interpreter interpreter = new Interpreter(modelFile, options);
  

• OpenCV启用硬件加速：开启OpenCL优化，提升图像处理速度：

  Core.setUseOptimized(true);
  Core.oclSetUseOpenCL(true);
  

• 调整相机输出分辨率：不要用太高的分辨率，比如直接设置成100x100（如果相机支持），减少resize的计算量。

最后几个注意点 #

• 一定要申请CAMERA权限，Android 6+还要动态申请，不然相机打不开。
• 注意图像方向：相机输出的图像可能和屏幕方向不一致，需要根据设备旋转角度调整，比如用Imgproc.rotate旋转Mat，或者在CameraX里设置setTargetRotation(windowManager.defaultDisplay.rotation)。
• 内存管理：处理完的Mat和Bitmap要及时回收，避免内存泄漏，比如rgbaMat.release()、rgbMat.release()。

内容的提问来源于stack exchange，提问作者Laci Szákács