TensorFlow Lite模型转F16与INT8后性能一致问题排查

背景与测试情况 #

我为评估CNN在边缘设备上的性能，学习了量化概念，并在Colab中使用TFLite解释器测试量化效果。尝试将CNN分别转换为Float-16（F16）和Int-8（INT8）量化版本，对比两者的推理时间与模型大小差异。

F16转换代码 #

converter_fl16 = tf.lite.TFLiteConverter.from_keras_model(q_aware_model)
converter_fl16.optimizations = [tf.lite.Optimize.DEFAULT]
converter_fl16.target_spec.supported_types = [tf.float16]
quantized_tflite_model_f16 = converter_fl16.convert()

INT8转换代码（当前版本） #

converter_t8 = tf.lite.TFLiteConverter.from_keras_model(q_aware_model)
converter_t8.optimizations = [tf.lite.Optimize.DEFAULT]

quantized_tflite_model_t8 = converter_t8.convert()

interpreter = tf.lite.Interpreter(model_content=quantized_tflite_model_t8)
interpreter.allocate_tensors()

测试结果 #

• 推理时间：
  • F32（无量化）=1.3s
  • F16（量化后）=0.6s
  • INT8（量化后）=0.59s
• 模型大小：
  • F32（无量化）=83KB
  • F16（量化后）=25KB
  • INT8（量化后）=25KB

问题 #

为何F16与INT8量化后的模型大小和推理时间几乎一致？是量化操作有误吗？

原因分析与修正方案 #

1. INT8量化操作不完整 #

你当前的INT8转换代码仅启用了tf.lite.Optimize.DEFAULT，这只会触发动态范围量化：仅将模型权重从F32转为INT8，但激活仍保持F32。这种轻量化方式和F16量化（权重+激活转F16）的压缩幅度在小模型上差异极小，最终模型大小接近。

要实现真正的全INT8量化（权重+激活均为INT8），必须补充以下步骤：

• 提供校准数据集，用于统计激活值的分布范围
• 指定INT8为目标操作类型
• 设置输入输出的INT8类型

修正后的INT8量化代码 #

def representative_dataset():
    # 替换为你的校准数据，需匹配模型输入形状，示例取训练集100个样本
    for data in tf.data.Dataset.from_tensor_slices(train_images).batch(1).take(100):
        yield [tf.dtypes.cast(data, tf.float32)]

converter_int8 = tf.lite.TFLiteConverter.from_keras_model(q_aware_model)
converter_int8.optimizations = [tf.lite.Optimize.DEFAULT]
# 指定支持INT8内置操作
converter_int8.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
# 设置校准数据集
converter_int8.representative_dataset = representative_dataset
# 设置输入输出为INT8类型
converter_int8.inference_input_type = tf.int8
converter_int8.inference_output_type = tf.int8

quantized_tflite_model_int8 = converter_int8.convert()

2. 小模型的大小差异不明显 #

你的原始模型仅83KB，属于极小模型：权重占比可能不高，且TFLite模型中的元数据、偏置等部分不会被INT8量化（偏置通常保留F32）。这种情况下，INT8和F16的压缩效果差异被抹平，最终大小一致。若换成几MB级的大模型，INT8的大小优势会显著体现（通常比F16小约50%）。

3. 模拟器无硬件加速导致推理时间接近 #

Colab使用的是CPU模拟器，没有针对INT8的硬件指令优化（如AVX2、NEON）。实际在支持INT8加速的边缘设备（如手机CPU、嵌入式NPU）上，全INT8量化的推理速度会比F16快2-4倍。

内容的提问来源于stack exchange，提问作者Aravind D. Chakravarti