解决coremltools转换MoViNet TFLite动作识别模型至CoreML运行异常问题

可能的问题原因 #

• 输入配置缺失：MoViNet作为动作识别模型，输入是视频帧序列（形状通常为[batch_size, num_frames, height, width, channels]），你注释掉了inputs参数，CoreML无法正确识别输入格式，导致运行时适配失败。
• 预处理参数错误：MoViNet的输入预处理通常是将像素值归一化到[-1, 1]（对应scale=1/127.5, bias=-1），而不是1/127，错误的预处理会导致模型输出异常。
• 转换参数未启用：你注释了minimum_deployment_target和convert_to="mlprogram"，MoViNet的复杂算子需要iOS15+的MLProgram格式支持，旧格式可能无法兼容。
• ClassifierConfig使用不当：如果你的TFLite模型最后一层已经是softmax输出，再添加classifier_config会重复处理分类逻辑，导致输出异常。

修复TFLite转CoreML的方案 #

修改转换代码，补充正确的输入配置、预处理参数和兼容设置：

import coremltools as ct

# 假设你的输入形状是 [1, 16, 224, 224, 3]，对应1个样本、16帧、224x224分辨率、3通道
input_shape = [1, 16, 224, 224, 3]
class_names = list(files_for_class.keys())
classifier_config = ct.ClassifierConfig(class_names)

# 定义输入格式：视频帧序列，预处理归一化到[-1,1]
input_spec = ct.TensorType(shape=input_shape, scale=1/127.5, bias=-1)

coreml_model = ct.convert(
    tflite_model,
    source="tensorflow",
    inputs=[input_spec],
    classifier_config=classifier_config,
    minimum_deployment_target=ct.target.iOS15,
    convert_to="mlprogram"
)

coreml_model.save("My.mlmodel")

注意点：

• 确认input_shape和你的MoViNet模型实际输入一致，比如帧数量、分辨率是否匹配。
• 如果你的TFLite模型输出已经是分类概率（softmax之后），可以去掉classifier_config，避免重复处理。
• 转换后可以用coreml_model.summary()查看输入输出是否符合预期，也可以用Xcode的模型编辑器打开.mlmodel检查结构。

直接从TF SavedModel转CoreML的方案 #

跳过TFLite步骤，直接转换更稳定，步骤如下：

import coremltools as ct
import tensorflow as tf

# 加载SavedModel
saved_model = tf.saved_model.load(saved_model_dir)
infer = saved_model.signatures["serving_default"]

# 定义输入形状和预处理，和模型训练时一致
input_shape = [1, 16, 224, 224, 3]
input_spec = ct.TensorType(shape=input_shape, scale=1/127.5, bias=-1)

class_names = list(files_for_class.keys())
classifier_config = ct.ClassifierConfig(class_names)

coreml_model = ct.convert(
    infer,
    inputs=[input_spec],
    classifier_config=classifier_config,
    minimum_deployment_target=ct.target.iOS15,
    convert_to="mlprogram"
)

coreml_model.save("My_Direct.mlmodel")

额外检查：

• 转换前用print(infer.inputs)和print(infer.outputs)查看TF模型的签名是否正确。
• 确保模型最后一层的分类数量和class_names的长度一致。

后续验证 #

• 在Xcode中导入转换后的.mlmodel，创建模型实例后，用符合输入形状的视频帧序列测试，查看是否有正常输出。
• 如果仍有问题，在Xcode中添加环境变量COREML_DEBUGGING=1，查看运行时的具体错误信息。

内容的提问来源于stack exchange，提问作者cassenav