量化感知训练后TFLite模型出现Dequantize节点，求移除方法

常见原因 #

• 输出层未量化：官方量化感知训练示例默认会保留输出层为浮点型（比如分类任务需要输出浮点概率），TFLite为了满足输出格式要求，会自动插入Dequantize节点，把前面int8量化层的结果转成float32输出。
• 存在不兼容量化的算子：如果模型里包含TFLite int8量化不支持的算子，框架会插入Dequantize/Quantize节点做格式转换，保证模型能正常运行。
• 量化配置不全：训练时如果没有对所有子图或层启用量化规则，部分层会维持浮点状态，导致节点间出现格式转换的Dequantize节点。

移除Dequantize节点的方法 #

1. 调整量化训练配置（从根源解决） #

如果是输出层未量化导致的问题，修改量化感知训练的配置，强制让输出层也参与量化：

import tensorflow_model_optimization as tfmot

# 自定义量化配置，确保输出层被量化
class FullQuantizeConfig(tfmot.quantization.keras.QuantizeConfig):
    def get_weights_and_quantizers(self, layer):
        return []
    def get_activations_and_quantizers(self, layer):
        # 对所有层的激活都启用量化，包括输出层
        return [(layer.output, tfmot.quantization.keras.quantizers.MovingAverageQuantizer(
            num_bits=8, per_axis=False, symmetric=False, narrow_range=False
        ))]
    def set_quantize_weights(self, layer, quantize_weights):
        pass
    def set_quantize_activations(self, layer, quantize_activations):
        pass
    def get_output_quantizers(self, layer):
        return []
    def get_config(self):
        return {}

# 应用自定义配置到模型
q_aware_model = tfmot.quantization.keras.quantize_apply(your_base_model, FullQuantizeConfig())

训练完成后重新导出TFLite模型，大概率能避免Dequantize节点出现。

2. 重新转换模型时强制全INT8量化 #

如果已经有训练好的量化感知模型，用tflite_convert转换时添加强制参数：

tflite_convert \
  --saved_model_dir=你的保存模型目录 \
  --output_file=全量化模型.tflite \
  --inference_type=INT8 \
  --inference_input_type=INT8 \
  --representative_dataset=你的代表性数据集函数

注意representative_dataset必须提供，用来校准量化参数。

3. 手动编辑TFLite模型（网络手术） #

如果上述方法无效，可以直接修改TFLite模型的FlatBuffer结构：

1. 用tflite_analyzer.py分析模型节点关系，定位Dequantize节点的输入和输出：

tflite_analyzer.py --model_file=你的模型.tflite

2. 找到Dequantize节点后，将其输入节点直接连接到原本接收Dequantize输出的节点，删除Dequantize节点。
3. 重新序列化FlatBuffer为TFLite模型，验证推理功能和精度是否正常。

注意：手动修改模型有风险，必须确保后续节点支持INT8输入，否则会导致推理失败。

内容的提问来源于stack exchange，提问作者PSW