使用TensorFlow Lite量化预训练MobileNet模型报错求助

问题原因 #

quantize_model API仅支持Sequential或Functional类型的Keras模型。虽然MobileNet本身基于Functional架构构建，但直接对预训练的MobileNet实例调用该API时，可能因模型内部层的封装方式，导致API无法正确识别其为合法的Functional模型。

解决方案 #

方案1：重新构建Functional模型结构 #

通过显式定义输入张量并重新封装模型，确保API能识别其为Functional类型：

from tensorflow.keras.applications import MobileNet
import tensorflow_model_optimization as tfmot
import tensorflow as tf

# 加载预训练MobileNet
pretrained_model = MobileNet(include_top=False, weights='imagenet', input_shape=(32,32,3))
pretrained_model.trainable = True

# 重新构建标准Functional模型
inputs = tf.keras.Input(shape=(32,32,3))
x = pretrained_model(inputs, training=True)
model = tf.keras.Model(inputs=inputs, outputs=x)

# 执行量化
q_pretrained_model = tfmot.quantization.keras.quantize_model(model)

方案2：使用quantize_scope限定量化范围 #

如果模型包含自定义层（或API无法识别的层），可通过quantize_scope明确可量化的层范围，同时配合重新构建的Functional模型使用：

from tensorflow.keras.applications import MobileNet
import tensorflow_model_optimization as tfmot
import tensorflow as tf

pretrained_model = MobileNet(include_top=False, weights='imagenet', input_shape=(32,32,3))
pretrained_model.trainable = True

# 重新封装模型
inputs = tf.keras.Input(shape=(32,32,3))
x = pretrained_model(inputs, training=True)
model = tf.keras.Model(inputs=inputs, outputs=x)

# 在quantize_scope中执行量化
with tfmot.quantization.keras.quantize_scope():
    q_pretrained_model = tfmot.quantization.keras.quantize_model(model)

方案3：改用后训练量化（适合快速部署） #

如果不需要对量化模型进行微调，直接使用TensorFlow Lite的后训练量化更高效，无需修改模型结构，适合部署到Raspberry Pi这类边缘设备：

from tensorflow.keras.applications import MobileNet
import tensorflow as tf

# 加载预训练模型
pretrained_model = MobileNet(include_top=False, weights='imagenet', input_shape=(32,32,3))

# 初始化TFLite转换器并开启量化优化
converter = tf.lite.TFLiteConverter.from_keras_model(pretrained_model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]

# 若需整数量化，提供校准数据集（示例用随机数据，实际建议用真实训练样本）
def representative_data_gen():
    for _ in range(100):
        yield [tf.random.normal([1, 32, 32, 3])]

converter.representative_dataset = representative_data_gen
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8

# 生成并保存量化模型
tflite_quant_model = converter.convert()
with open('mobilenet_quant.tflite', 'wb') as f:
    f.write(tflite_quant_model)

补充说明 #

• 方案1、2属于训练感知量化，适合需要微调量化模型以恢复精度的场景。
• 方案3的后训练量化操作简单、无需重新训练，能大幅减小模型体积并提升边缘设备的推理速度，更适合快速部署到Raspberry Pi。

内容的提问来源于stack exchange，提问作者Ayush Dave