Core ML目标检测模型代码调用无法提取可用坐标生成Bounding Box

你的核心问题是：Xcode预览界面会自动帮你解析模型输出并渲染Bounding Box，但代码调用时需要手动处理原始的MLMultiArray输出——不管是CreateML还是YOLO系列导出的Core ML模型，都需要这一步。下面是具体解决步骤：

1. 先明确模型输出的结构 #

首先要搞清楚模型输出的数组每个维度、每个元素的含义，这是关键：

• 打开Xcode中的.mlmodel文件，查看Outputs标签页，明确输出的名称、形状、数据类型。比如YOLOv8转Core ML后的输出可能是形状为[1, N, 6]的MLMultiArray，其中N是候选框数量，每个框的6个值依次是[x_center, y_center, width, height, confidence, class_id]（归一化后的值，范围0-1）。
• 代码中先打印输出的类型和形状，确认数据结构：

  func performAnalysis(frame: CVImageBuffer) {
      guard let input = try? IdentifyBoomInput(imagePath: frame) else { return }
      guard let result = try? identifyBoom.prediction(input: input) else { return }
      
      // 打印输出类型和结构
      print("Result类型：\(type(of: result))")
      if let coordsArray = result.coordinates as? MLMultiArray {
          print("输出数组形状：\(coordsArray.shape)")
          // 打印前几个元素确认值
          for i in 0..<min(5, coordsArray.count) {
              print("索引\(i)的值：\(coordsArray[i])")
          }
      }
  }
  

2. 解析MLMultiArray为可用于绘制的CGRect #

根据模型输出的格式，手动将归一化后的坐标转换为图像实际像素坐标：

示例：YOLO系列模型输出解析 #

如果输出是[x_center, y_center, width, height, confidence, class_id]的归一化格式：

func parseYOLOBoxes(from array: MLMultiArray, imageSize: CGSize) -> [CGRect] {
    var boundingBoxes = [CGRect]()
    guard let boxCount = array.shape[1]?.intValue, let stride = array.strides.first?.intValue else {
        return boundingBoxes
    }
    
    for i in 0..<boxCount {
        // 计算每个框元素的索引偏移
        let xCenter = array[i * stride + 0].doubleValue
        let yCenter = array[i * stride + 1].doubleValue
        let boxWidth = array[i * stride + 2].doubleValue
        let boxHeight = array[i * stride + 3].doubleValue
        let confidence = array[i * stride + 4].doubleValue
        
        // 过滤低置信度的框（阈值可调整）
        guard confidence > 0.5 else { continue }
        
        // 转换为图像像素坐标（注意iOS图像坐标系左上角为原点）
        let x = (xCenter - boxWidth / 2) * imageSize.width
        let y = (yCenter - boxHeight / 2) * imageSize.height
        let finalWidth = boxWidth * imageSize.width
        let finalHeight = boxHeight * imageSize.height
        
        boundingBoxes.append(CGRect(x: x, y: y, width: finalWidth, height: finalHeight))
    }
    return boundingBoxes
}

示例：CreateML目标检测模型解析 #

如果是CreateML导出的模型，输出可能包含boundingBoxes、confidences等字段（需对应模型输出定义）：

// 假设模型输出的结构体包含boundingBoxes数组
if let boxes = result.boundingBoxes as? [MLMultiArray] {
    for boxArray in boxes {
        // 假设每个box是[x1, y1, x2, y2]（归一化后）
        let x1 = boxArray[0].doubleValue * imageSize.width
        let y1 = boxArray[1].doubleValue * imageSize.height
        let x2 = boxArray[2].doubleValue * imageSize.width
        let y2 = boxArray[3].doubleValue * imageSize.height
        let rect = CGRect(x: x1, y: y1, width: x2 - x1, height: y2 - y1)
        // 添加到结果数组
    }
}

3. 对齐输入图像的预处理逻辑 #

Xcode预览会自动处理图像的预处理，但代码中必须保证输入和训练/预览时一致：

• 检查图像颜色空间：比如模型要求RGB格式，而CVImageBuffer通常是YCbCr格式，需要手动转换。
• 检查图像缩放：模型输入可能是固定尺寸（比如640x640），需要将输入的CVImageBuffer缩放至对应尺寸，同时保持比例。
• 检查像素值归一化：比如YOLO模型可能要求像素值除以255，或者做均值方差归一化，必须和训练时的预处理一致。

4. 排查模型导出设置 #

• YOLO系列：导出时需确保添加--nms参数（比如yolo export model=yolov8n.pt format=coreml nms=True），这样模型会直接输出经过非极大值抑制的有效框，无需自己处理重复框。
• CreateML：导出时必须选择Object Detection模板，而非自定义回归模型，否则输出不会是结构化的边界框数据。
• 检查Core ML导出的“Output”设置：确保输出包含边界框、置信度等必要字段，而非仅原始张量。

内容的提问来源于stack exchange，提问作者Ben