Flutter中使用camera与google_mlkit_face_detection实时人脸检测失败求助

以下是导致检测失败的常见原因及修复方案：

1. 图像字节拼接方式错误 #

camera包返回的Image是多平面的YUV格式，直接把所有plane的字节拼在一起不符合ML Kit的输入格式要求。不同平台的格式处理逻辑不一样：

• Android平台：图像通常为NV21格式，需要按Y平面在前、UV平面交错在后的规则组合
• iOS平台：图像通常为BGRA格式，直接取第一个平面的字节即可

2. InputImageRotation配置错误 #

cameraDescription.sensorOrientation的旋转角度要正确映射到InputImageRotation，前后摄像头的sensorOrientation差异很大，比如前置摄像头的旋转方向通常和后置相反，必须对应准确才能让ML Kit正确识别图像方向。

3. FaceDetectorOptions配置过严 #

如果你的option设置了过小的最小人脸尺寸，或者启用了高精准度但低速度的模式，可能导致无法检测到人脸。建议先使用默认配置测试，再根据需求调整参数。

4. 重复创建FaceDetector导致性能问题 #

每帧图像都新建FaceDetector会浪费资源、拖慢检测速度，应该全局复用一个实例，页面销毁时记得关闭释放资源。

修正后的示例代码 #

// 全局复用FaceDetector实例
late FaceDetector faceDetector;

@override
void initState() {
  super.initState();
  // 初始化检测器，可根据需求调整参数
  final options = FaceDetectorOptions(
    performanceMode: FaceDetectorMode.fast,
    minFaceSize: 0.15, // 最小人脸占画面比例，范围0.0-1.0
  );
  faceDetector = FaceDetector(options: options);
}

@override
void dispose() {
  // 页面销毁时释放资源
  faceDetector.close();
  cameraController.dispose();
  super.dispose();
}

void initCamera() {
  try {
    cameraController.initialize().then((value) {
      setState(() {
        cameraController.startImageStream((image) async {
          try {
            InputImage inputImage;
            if (Platform.isAndroid) {
              // Android平台处理NV21格式
              final bytes = concatenatePlanes(image.planes);
              inputImage = InputImage.fromBytes(
                bytes: bytes,
                metadata: InputImageMetadata(
                  size: Size(image.width.toDouble(), image.height.toDouble()),
                  rotation: InputImageRotationValue.fromRawValue(cameraDescription.sensorOrientation) ?? InputImageRotation.rotation0deg,
                  format: InputImageFormat.nv21,
                  bytesPerRow: image.planes[0].bytesPerRow,
                ),
              );
            } else if (Platform.isIOS) {
              // iOS平台处理BGRA格式
              inputImage = InputImage.fromBytes(
                bytes: image.planes[0].bytes,
                metadata: InputImageMetadata(
                  size: Size(image.width.toDouble(), image.height.toDouble()),
                  rotation: InputImageRotationValue.fromRawValue(cameraDescription.sensorOrientation) ?? InputImageRotation.rotation0deg,
                  format: InputImageFormat.bgra8888,
                  bytesPerRow: image.planes[0].bytesPerRow,
                ),
              );
            } else {
              debugPrint('不支持当前平台');
              return;
            }

            final faces = await faceDetector.processImage(inputImage);
            if (faces.isEmpty) {
              debugPrint('未检测到人脸 ${faces.length}');
            } else {
              debugPrint('检测到人脸 ${faces.length}');
            }
          } catch (e) {
            debugPrint('图像处理错误: $e');
          }
        });
      });
    });
  } catch (e) {
    debugPrint('相机初始化错误: $e');
  }
}

// Android平台专用：拼接YUV平面为NV21格式
Uint8List concatenatePlanes(List<Plane> planes) {
  final WriteBuffer allBytes = WriteBuffer();
  for (Plane plane in planes) {
    allBytes.putUint8List(plane.bytes);
  }
  return allBytes.done().buffer.asUint8List();
}

额外检查项 #

• 确认已正确申请摄像头权限
• 测试时保证光线充足，人脸在画面中清晰且占比合适
• 检查cameraDescription是否正确选择了目标摄像头（前置/后置）

内容的提问来源于stack exchange，提问作者jayaKumarjk