CICoreMLModelFilter功能、适配模型及应用场景技术咨询

核心定位 #

CICoreMLModelFilter是Core Image框架下的滤镜，核心作用是把Core ML模型接入Core Image的图像处理流程，基于输入图像完成模型推理后输出处理后的图像，不负责分类、检测这类输出非图像结果的任务。

具体问题解答 #

• 是否用于图像分类？
  不能。图像分类模型的输出是类别标签或概率值，并非图像张量，不符合CICoreMLModelFilter对输出的硬性要求（必须输出可转换为图像的张量）。

• 能否实现类似Snapchat的人脸图像叠加效果？
  单独使用做不到。Snapchat的人脸滤镜需要先通过人脸检测（比如Vision框架）定位人脸关键点，再叠加对应图层；CICoreMLModelFilter只负责图像像素级的模型推理（比如风格迁移、图像修复），没有人脸定位或图层合成的能力，需要结合其他框架配合才能实现。

• 适配何种类型的Core ML模型？
  必须满足两个关键条件：

  • 输入：模型输入需为可与Core Image图像兼容的张量（比如CVPixelBuffer格式，尺寸、通道数匹配）
  • 输出：模型输出必须是图像张量（比如和输入尺寸相近的3通道/4通道张量，可直接转换为Core Image图像）
    常见适配的模型类型包括：风格迁移模型、图像超分辨率模型、图像降噪模型、语义分割模型（输出的掩码可用于后续图像合成）等。

• 车牌识别Core ML模型应用于披萨图片是否可行？
  完全不可行，逻辑上不成立：

  1. 车牌识别模型的输出是文本/字符概率，不是图像张量，不符合CICoreMLModelFilter的输出要求；
  2. 该模型是针对车牌特征训练的，输入披萨图片无法得到有意义的推理结果，更没法输出处理后的图像。

内容的提问来源于stack exchange，提问作者irrbloss