Python环境下INT8量化TFLite模型推理结果正确性咨询

常见偏差根因定位 #

• 模型文件路径错配
  转换逻辑中量化完成后保存的文件路径为/content/drive/My Drive/model.tflite，但推理代码加载的文件是./model_google.tflite，如果两个路径对应的不是同一份全INT8量化模型，等于推理时加载的模型和你转换的版本完全不一致，结果自然失效。
• 预处理逻辑不匹配（最高发问题）
  量化阶段的代表数据集、模型训练阶段的图像预处理逻辑，必须和推理阶段的前置处理完全对齐。TFLite量化校准是基于代表数据集的数值分布计算scale和zero_point的，如果推理时输入的像素范围和校准时的输入范围不一致，哪怕差一个归一化步骤，都会导致量化后的输入分布完全偏移，推理结果失效。
  比如校准时validation_generator输出的图像是已经除以255归一化到[0,1]区间的，推理时却直接用0-255范围的原始像素做量化映射，输入数值会比校准基准大255倍，结果必然错误。
• INT8输入值溢出截断缺失
  计算得到的量化输入值范围如果超出int8的合法区间（-128 ~ 127），直接调用.astype(np.int8)会触发数值溢出，把超出范围的数值映射成无意义的负数值，直接干扰推理结果。
• 转换阶段的校准数据集格式bug
  现有转换代码里的代表数据集生成器存在维度隐患：单张图像被reshape成[-1, 128, 128, 3]时，如果维度计算错误，会导致校准输入的张量形状和实际推理形状不匹配，最终校准得到的scale参数失真。

正确的推理实现步骤 #

1. 严格对齐全流程的图像预处理逻辑：把测试图像先做和训练、量化校准阶段完全一致的数值变换（比如除以255、均值方差归一化等），转换为float32格式。
2. 读取输入张量的量化参数input_scale和input_zero_point，将预处理后的浮点图像映射为int8格式，计算公式为：test_image_int = test_image / input_scale + input_zero_point
3. 对映射后的数值做截断处理，限制在int8合法范围：np.clip(test_image_int, -128, 127)，避免数值溢出。
4. 将截断后的int8数组喂给解释器完成推理，拿到int8格式的输出张量。
5. 读取输出张量的量化参数，做反量化得到浮点格式的类别概率值，通过np.argmax()获取概率最高的索引作为预测类别。

修复后的可运行推理代码 #

import numpy as np
import tensorflow as tf
from tensorflow.keras.preprocessing.image import load_img, img_to_array

tflite_model_path = './model_google.tflite'
test_image_path = './img_test/1_2.jpg'

# 1. 图像预处理：必须和训练、量化校准的逻辑完全一致
img = load_img(test_image_path, target_size=(128, 128))
img_array = img_to_array(img)
# 示例：如果训练时使用除以255的归一化，取消下方注释
# img_array = img_array / 255.0
# 示例：如果训练时使用[-1,1]范围归一化，取消下方注释
# img_array = (img_array - 127.5) / 127.5
img_array = img_array.reshape(1, 128, 128, 3).astype(np.float32)

# 2. 初始化TFLite解释器
interpreter = tf.lite.Interpreter(model_path=tflite_model_path)
interpreter.allocate_tensors()
input_spec = interpreter.get_input_details()[0]
output_spec = interpreter.get_output_details()[0]

# 3. 输入量化 + 溢出截断
input_scale, input_zero = input_spec['quantization']
quant_input = img_array / input_scale + input_zero
quant_input = np.clip(quant_input, -128, 127).astype(input_spec['dtype'])

# 4. 执行推理
interpreter.set_tensor(input_spec['index'], quant_input)
interpreter.invoke()

# 5. 输出反量化得到概率值
quant_output = interpreter.get_tensor(output_spec['index'])
output_scale, output_zero = output_spec['quantization']
class_probs = (quant_output.astype(np.float32) - output_zero) * output_scale
predicted_class = np.argmax(class_probs)

校验检查点 #

• 打印input_spec['shape']，确认和你喂入的输入张量形状完全一致，避免维度不匹配导致的隐藏错误。
• 打印反量化后的类别概率值，正常情况下如果模型最后一层是softmax，所有类别的概率和应该接近1，如果偏差超过10%，基本可以判定是预处理逻辑没有对齐。
• 确认转换后的模型没有混入float32的fallback算子，可通过TFLite自带的模型分析工具查看算子类型，保证全链路INT8推理。

内容的提问来源于stack exchange，提问作者Abid