Firebase MLKit前置摄像头人脸检测卡顿问题排查求助

我在使用Firebase MLKit人脸检测器搭配前置摄像头开发时，发现人脸处理速度极为缓慢。以下是我的代码实现：

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { 
    print("Picture at ", Date()) 
    let visionImage = VisionImage(buffer: sampleBuffer) 
    visionImage.metadata = metadata 
    faceDetector?.detect(in: visionImage) { (faces, error) in 
        guard error == nil, let faces = faces, !faces.isEmpty else { 
            // Error. You should also check the console for error messages. 
            let errorString = error?.localizedDescription 
            print("Face detection failed with error: \(errorString)") 
            return 
        } 
    } 
}

请问我在代码实现中哪里出现了问题？

你的代码里有几个关键问题会拖慢人脸检测的速度，咱们逐个拆解并修复：

• 无节制的检测请求导致任务堆积
  AVCaptureOutput的didOutput回调会跟着摄像头的帧率（通常30fps左右）持续触发，但MLKit的人脸检测是需要计算时间的。如果每帧都发起检测请求，这些异步任务会在后台队列里越堆越多，最终导致处理速度完全跟不上输入节奏，看起来就像“极慢”。

  修复方法：加一个节流机制，比如每隔固定时间（比如100ms）才发起一次检测：

  private var lastDetectionTime = Date()
  private let detectionInterval: TimeInterval = 0.1 // 控制100ms检测一次
  
  func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { 
      let currentTime = Date()
      // 时间间隔不够就跳过当前帧
      guard currentTime.timeIntervalSince(lastDetectionTime) >= detectionInterval else {
          return
      }
      lastDetectionTime = currentTime
  
      print("Picture at ", currentTime) 
      let visionImage = VisionImage(buffer: sampleBuffer) 
      visionImage.metadata = metadata 
      faceDetector?.detect(in: visionImage) { (faces, error) in 
          // 你的回调逻辑
      } 
  }
  

• 未针对速度优化检测器配置
  MLKit默认的人脸检测器配置是偏向高精度的，这会牺牲处理速度。你可以根据业务需求调整配置，比如降低精度、限制检测的人脸数量，能大幅提升速度：

  let options = FaceDetectorOptions()
  options.performanceMode = .fast // 优先速度而非极致精度
  options.maxFaceCount = 1 // 只检测单张人脸（如果你的场景不需要多脸）
  options.faceTrackingEnabled = true // 开启追踪，减少重复检测的计算量
  let faceDetector = Vision.faceDetector(options: options)
  

• 摄像头分辨率设置过高
  更高的摄像头分辨率意味着更多像素需要处理，检测速度自然变慢。可以把AVCaptureSession的预设调低：

  captureSession.sessionPreset = .medium // 不要用.high或.photo，除非你真的需要高分辨率
  

• 未避免冗余操作
  不要在didOutput回调里做任何耗时操作，除了必要的帧处理和发起检测请求。另外，如果回调里有UI更新逻辑，一定要切换到主线程，但别把计算逻辑放在主线程里。

内容的提问来源于stack exchange，提问作者Itumeleng Mabote