如何正确集成CoreML到iOS应用？解决预测结果恒同问题

一、预测结果始终相同的排查方向 #

1. 输入数据预处理错误 #

CoreML模型对输入格式有严格要求，若预处理不符合训练时的标准，会导致输出固定：

• 检查图像尺寸：确认输入图像的宽高与模型要求完全一致（比如训练时用224x224，真机输入不能是其他尺寸）。
• 验证像素归一化：若训练时将像素值归一化到0-1范围，真机输入需将原始0-255像素值除以255；若用Z-score归一化，需同步训练时的均值和标准差。
• 检查图像通道：部分模型要求RGB通道顺序，若传入BGR或单通道图像，会导致输出异常。

2. 模型调用逻辑错误 #

• 确认输入对象是否复用：若每次预测都传入同一个未更新的输入实例，模型会重复输出相同结果。需确保每次预测都生成新的ModelInput对象。
• 检查输出解析：若代码中硬编码了类别索引（比如直接取output.classLabelProbs.keys.first），而非根据概率值获取对应类别，会导致固定输出类别1。

3. 模型本身问题 #

• 用CoreML Tools验证模型：在Python中加载.mlmodel文件，传入不同测试数据，若输出仍固定，说明模型训练未收敛、数据不平衡或转换过程出错。
• 检查模型转换流程：从PyTorch/TensorFlow转CoreML时，需确保转换参数（如输入输出名称、维度）与训练时一致，避免权重丢失或格式错误。

二、CoreML模型正确集成步骤 #

1. 模型准备与转换 #

• 训练阶段：确保模型输入输出维度明确，避免动态形状（若需动态输入，需用MLMultiArray处理）。
• 转换工具：
  • PyTorch：先导出TorchScript模型，再用coremltools.convert转换，指定输入图像的尺寸和格式。
  • TensorFlow：将SavedModel或TFLite模型转换为CoreML格式，验证转换后的输入输出匹配训练时的规格。
• 本地验证：用CoreML Tools调用model.predict()，传入测试数据确认输出符合预期。

2. 导入模型到Xcode #

• 将.mlmodel文件拖入Xcode项目，勾选“Copy items if needed”和对应target，Xcode会自动生成Swift模型类。
• 检查模型类的输入输出：在Xcode中点击.mlmodel文件，确认输入为CVPixelBuffer或MLMultiArray，输出为类别标签和概率字典。

3. 图像预处理实现 #

针对图像分类模型，实现符合要求的预处理逻辑：

func preprocess(for image: UIImage, targetSize: CGSize) -> CVPixelBuffer? {
    // 创建符合模型要求的像素缓冲区
    let attrs = [
        kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue,
        kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue
    ] as CFDictionary
    var pixelBuffer: CVPixelBuffer?
    let status = CVPixelBufferCreate(
        kCFAllocatorDefault,
        Int(targetSize.width),
        Int(targetSize.height),
        kCVPixelFormatType_32ARGB,
        attrs,
        &pixelBuffer
    )
    guard status == kCVReturnSuccess, let buffer = pixelBuffer else { return nil }
    
    // 绘制并转换图像
    UIGraphicsBeginImageContextWithOptions(targetSize, true, 1.0)
    image.draw(in: CGRect(origin: .zero, size: targetSize))
    guard let context = UIGraphicsGetCurrentContext() else {
        UIGraphicsEndImageContext()
        return nil
    }
    context.render(to: buffer)
    UIGraphicsEndImageContext()
    
    // 归一化处理（示例：将0-255转为0-1）
    CVPixelBufferLockBaseAddress(buffer, .readWrite)
    let baseAddress = CVPixelBufferGetBaseAddress(buffer)
    let bytesPerRow = CVPixelBufferGetBytesPerRow(buffer)
    let height = CVPixelBufferGetHeight(buffer)
    for y in 0..<height {
        let row = baseAddress!.advanced(by: y * bytesPerRow)
        for x in 0..<Int(targetSize.width) {
            let pixel = row.advanced(by: x * 4).assumingMemoryBound(to: UInt8.self)
            pixel[0] = UInt8(Float(pixel[0]) / 255.0 * 255) // Alpha通道（若模型不需要可忽略）
            pixel[1] = UInt8(Float(pixel[1]) / 255.0 * 255) // Red
            pixel[2] = UInt8(Float(pixel[2]) / 255.0 * 255) // Green
            pixel[3] = UInt8(Float(pixel[3]) / 255.0 * 255) // Blue
        }
    }
    CVPixelBufferUnlockBaseAddress(buffer, .readWrite)
    
    return buffer
}

4. 模型预测逻辑 #

func predictLungCancer(from scanImage: UIImage) {
    let targetSize = CGSize(width: 224, height: 224) // 替换为模型要求的尺寸
    guard let inputBuffer = preprocess(for: scanImage, targetSize: targetSize) else {
        print("图像预处理失败")
        return
    }
    
    do {
        let model = try LungCancerModel(configuration: MLModelConfiguration())
        let input = LungCancerModelInput(image: inputBuffer)
        let output = try model.prediction(input: input)
        
        // 正确解析输出：按概率排序获取类别
        let sortedProbs = output.classLabelProbs.sorted { $0.value > $1.value }
        let topClass = sortedProbs.first?.key ?? "未知"
        let topProb = sortedProbs.first?.value ?? 0.0
        
        print("预测类别：\(topClass)，概率：\(topProb)")
    } catch {
        print("预测错误：\(error.localizedDescription)")
    }
}

5. 真机测试配置 #

• 在Xcode中，进入Target -> Signing & Capabilities，添加com.apple.security.cs.allow-unsigned-executable-memory权限（Info.plist中添加该键并设为YES），部分CoreML模型需要此权限才能在真机运行。
• 测试不同输入图像，确认预处理后的图像与训练数据格式一致，避免输入数据同质化导致结果固定。

内容的提问来源于stack exchange，提问作者Shivi