TensorFlow 1.8.0rc1转TFLite量化模型报错：缺少min/max数据

刚碰到过类似的问题，给你几个可行的解决思路：

这个报错的核心原因是权重量化要求所有参与计算的张量都必须带有min/max量化范围信息，而你的Relu层输出张量没有被正确追踪到这些信息，导致后续和dropout相关的Div算子没法完成量化转换。

方法1：用TensorFlow内置工具自动追踪量化范围 #

TensorFlow 1.x的量化工具链提供了自动插入量化节点的函数，能帮你自动收集各层张量的min/max：

• 如果是训练阶段，在模型构建完成后调用：

  tf.contrib.quantize.create_training_graph(input_graph=tf.get_default_graph(), quant_delay=0)
  

• 如果是导出模型前的推理/评估阶段，调用：

  tf.contrib.quantize.create_eval_graph(input_graph=tf.get_default_graph())
  

这两个函数会自动给包括Relu在内的所有关键层添加量化追踪节点，自动补全min/max信息，TOCO转换时就不会再报这个错了。

方法2：手动给Relu输出添加量化范围 #

如果自动工具不适用你的场景，可以手动用tf.fake_quant_with_min_max_vars包装Relu的输出，显式指定min和max值：

# 假设原来的Relu输出是relu_output
relu_output = tf.nn.relu(your_layer_output)
# 添加fake quant节点，这里的min/max要根据你的模型实际输出范围设置（比如Relu最小值固定为0，最大值可以参考训练时的统计）
quantized_relu = tf.fake_quant_with_min_max_vars(relu_output, min=0.0, max=5.0)
# 后续的dropout/div操作改用quantized_relu作为输入

方法3：临时绕过量化（仅用于测试） #

如果只是想先完成转换验证模型功能，可以在TOCO转换时指定非量化输出，执行转换命令时加上：

--inference_type=FLOAT

但这样会失去权重量化减小体积、提速的优势，只适合临时排查问题。

另外要注意：导出模型前一定要把dropout层切换到推理模式（设置training=False），避免动态随机的dropout操作干扰量化信息的收集。

内容的提问来源于stack exchange，提问作者m.j