Flutter调用TFLite图像分类模型始终返回首个标签问题

我创建了一份Colab工作簿，将判断图像是否为热狗的任务作为多标签分类问题实现，采用基于ImageNet权重预训练的MobileNetv2架构。模型转换为TFLite格式前测试预测准确率可达93%，但转换为TFLite格式供移动端使用、通过Tflite flutter package调用时，labels.txt文件中的首个标签['hotdog', 'nothotdog']的confidence（置信度）始终为1.0。

我初次接触边缘端模型转换部署，可能存在配置错误但暂未定位问题，所用依赖库的仓库issue板块无有效参考信息。模型搭建代码如下：

conv_base = keras.applications.mobilenet_v2.MobileNetV2(
    weights="imagenet",
    include_top=False
)
conv_base.trainable = False

inputs = keras.Input(shape=(256, 256, 3))
x = data_augmentation(inputs)
x = keras.applications.mobilenet_v2.preprocess_input(x)
x = conv_base(x)
x = layers.Flatten()(x)
x = layers.Dense(512)(x)
x = layers.Dropout(0.5)(x)
outputs = layers.Dense(2, activation=keras.activations.softmax)(x)
model = keras.Model(inputs, outputs)

model.compile(loss=keras.losses.SparseCategoricalCrossentropy(),
              optimizer=keras.optimizers.RMSprop(),
              metrics=["accuracy"])

model.summary()

模型结构信息如下：

Model: "model_2"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 input_6 (InputLayer)        [(None, 256, 256, 3)]     0         
                                                                 
 sequential (Sequential)     (None, 256, 256, 3)       0         
                                                                 
 tf.math.truediv_1 (TFOpLamb  (None, 256, 256, 3)      0         
 da)                                                             
                                                                 
 tf.math.subtract_1 (TFOpLam  (None, 256, 256, 3)      0         
 bda)                                                            
                                                                 
 mobilenetv2_1.00_224 (Funct  (None, None, None, 1280)  2257984  
 ional)                                                          
                                                                 
 flatten_2 (Flatten)         (None, 81920)             0         
                                                                 
 dense_4 (Dense)             (None, 512)               41943552  
                                                                 
 dropout_1 (Dropout)         (None, 512)               0         
                                                                 
 dense_5 (Dense)             (None, 2)                 1026      
                                                                 
=================================================================
Total params: 44,202,562
Trainable params: 41,944,578
Non-trainable params: 2,257,984
_________________________________________________________________

TFLite模型转换代码如下：

import tensorflow as tf
from tensorflow import keras
import pathlib

test_model = keras.models.load_model(f"{hotDogDir}hotdog_multiclassifier_mobilenet_v1.keras")

converter = tf.lite.TFLiteConverter.from_keras_model(test_model)
tflite_model = converter.convert()

tflite_models_dir = pathlib.Path(f"{hotDogDir}")
tflite_models_dir.mkdir(exist_ok=True, parents=True)

tflite_model_file = tflite_models_dir/"hotdog_multiclassifier_mobilenet.tflite"
tflite_model_file.write_bytes(tflite_model)

converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_quant_model = converter.convert()
tflite_model_quant_file = tflite_models_dir/"hotdog_multiclassifier_mobilenet.tflite"
tflite_model_quant_file.write_bytes(tflite_quant_model)

我基于提供的基础模板开发Flutter应用，修改适配自定义模型，完整代码已上传至公开仓库供排查。

• 为何移动端部署后预测结果异常，始终判定为第一个标签类别？
• 可通过哪些方式修复该问题？

问题根因 #

这个异常基本都是输入链路和模型导出逻辑的问题，和Flutter插件本身关系不大，对应贴出的代码，有几个明确的错误点：

1. 训练阶段用的数据增强层被直接打包进了导出模型。TFLite推理时不会自动屏蔽训练专属的随机增强逻辑（随机翻转、裁剪、亮度扰动这些），再叠加量化带来的数值误差，很容易让模型输出完全偏离预期，最终softmax坍缩到固定类别。
2. 移动端预处理和训练时完全不匹配。训练时用的mobilenet_v2.preprocess_input会把0-255的像素值归一化到[-1,1]区间，但所用的Flutter tflite插件默认配置一般是把像素归一化到[0,1]，甚至直接传原始0-255值，输入分布差了一倍多，模型输出不可能正常。
3. 转换代码有逻辑漏洞：先导出了非量化TFLite模型写入文件，之后开启动态量化重新转换，直接用同文件名覆盖了之前的文件。这种无校准的动态量化对于小数据集微调的模型，非常容易出现输出层数值偏移，直接导致结果固定。
4. 该任务本质是二分类任务不是多标签，用softmax+稀疏交叉熵本身没问题，但如果Flutter端插件默认按多标签sigmoid解析输出，也会出现置信度读取错误。

修复步骤 #

按优先级操作，基本跑通前两步就能解决问题：

1. 导出不含训练专属层的推理专用模型
   不要直接拿训练时的模型导出，单独构建一个去掉数据增强的推理模型，加载训练好的权重再做转换（Dropout层推理阶段会自动失效，可保留也可移除以精简结构）：

   # 推理专用模型，移除训练阶段才用的数据增强层
   inference_inputs = keras.Input(shape=(256, 256, 3))
   x = keras.applications.mobilenet_v2.preprocess_input(inference_inputs)
   x = conv_base(x)
   x = layers.Flatten()(x)
   x = layers.Dense(512)(x)
   outputs = layers.Dense(2, activation="softmax")(x)
   inference_model = keras.Model(inference_inputs, outputs)
   # 加载训练好的权重
   inference_model.load_weights(your_trained_weight_path)
   

2. 修正TFLite转换逻辑，先跑通浮点模型再做量化
   新手部署不要一上来就用量化，先导出浮点模型验证全链路正确，再考虑量化压缩：

   converter = tf.lite.TFLiteConverter.from_keras_model(inference_model)
   # 先不开启任何优化，导出纯浮点模型
   tflite_float_model = converter.convert()
   # 单独存文件，不要和量化版同文件名覆盖
   with open("hotdog_classifier_float.tflite", "wb") as f:
       f.write(tflite_float_model)
   
   # 等浮点模型全链路跑通后，再做INT8量化，必须提供校准数据集，不要直接用DEFAULT动态量化
   

3. 严格对齐Flutter端预处理参数
   配置Flutter端的tflite插件时，不要用默认预处理参数，手动设置为和训练一致：
   • 输入图像严格resize到256*256分辨率，和模型输入尺寸匹配
   • 归一化参数设置为均值127.5、标准差127.5，对应MobileNetV2要求的像素值/127.5 - 1逻辑，把像素映射到[-1,1]区间
   • 确认输出读取的是长度为2的浮点数组，两个值加和接近1，分别对应labels里的两个类别，不要按多标签的sigmoid输出逻辑解析。
4. 转换完成后先在PC端用TFLite Python解释器跑几张测试图，确认输出和原Keras模型结果误差在1%以内，再放到Flutter端调试，不要直接在移动端排查问题，效率极低。

内容的提问来源于stack exchange，提问作者SmiffyKmc