使用TensorFlow 1.6.0转换量化MobileNet至TF-Lite遇Dequantize算子不支持问题

我来帮你搞定这个在TensorFlow 1.6.0下转换量化MobileNet重训练模型到TF-Lite时碰到的Dequantize算子不支持的问题。结合TF 1.6这个旧版本的特性，给你几个实用的解决方案：

方案1：调整TOCO命令参数，避免触发Dequantize节点冲突 #

你的原命令里显式指定了--inference_type=QUANTIZED_UINT8和--inference_input_type=QUANTIZED_UINT8，但量化后的模型本身可能已经内置了Dequantize节点，而TF 1.6的TOCO对这类节点的兼容度不高。可以试试这么改：

• 删掉--inference_type和--inference_input_type这两个参数，让TOCO自动识别模型的量化类型
• 先用summarize_graph工具确认输入输出节点的名称完全匹配（命令：summarize_graph --in_graph=/home/sudheer_sure/r_mobilenet/tf_files/retrained_graph.pb），避免节点名称写错

修改后的完整命令：

toco --input_format=TENSORFLOW_GRAPHDEF --input_file=/home/sudheer_sure/r_mobilenet/tf_files/retrained_graph.pb --output_format=TFLITE --output_file=/home/sudheer_sure/r_mobilenet/tf_files/mobilenet_v1_1.0_224_quantized.lite --input_arrays=input --output_arrays=final_result --input_shapes=1,224,224,3 --mean_values=128 --std_values=127

（注：你原命令里的std_val没写完整，这里补成了std_values=127，这是MobileNet量化模型的标准参数）

方案2：重新导出不含Dequantize节点的量化模型 #

TF 1.6里重训练量化MobileNet时，如果流程不对，容易生成带Dequantize节点的图。你可以重新走一遍量化训练和导出流程：

• 训练阶段，要调用tf.contrib.quantize.create_training_graph()和tf.contrib.quantize.create_eval_graph()来构建正确的量化计算图
• 导出模型时，不要手动添加Dequantize节点，直接导出训练后的量化图，这样生成的retrained_graph.pb会更适配TOCO转换

方案3：升级TOCO/TensorFlow版本（如果环境允许） #

TensorFlow 1.6确实比较老了，后续版本的TOCO（后来整合为tflite_convert）对量化算子的支持完善了很多。如果你的环境可以升级，建议升到TF 1.12及以上版本，新版本已经支持Dequantize算子。升级后用tflite_convert替代旧的toco命令：

tflite_convert --graph_def_file=/home/sudheer_sure/r_mobilenet/tf_files/retrained_graph.pb --output_file=/home/sudheer_sure/r_mobilenet/tf_files/mobilenet_v1_1.0_224_quantized.lite --input_arrays=input --output_arrays=final_result --input_shapes=1,224,224,3 --inference_type=QUANTIZED_UINT8 --mean_values=128 --std_dev_values=127

方案4：手动修改计算图移除Dequantize节点 #

要是前面的方案都没法用，你可以用TF API手动加载图，删掉Dequantize节点再重新保存：

import tensorflow as tf

with tf.Session() as sess:
    # 加载原始量化模型图
    with tf.gfile.GFile('/home/sudheer_sure/r_mobilenet/tf_files/retrained_graph.pb', 'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
    
    # 遍历所有节点，过滤Dequantize节点并调整连接关系
    new_graph_def = tf.GraphDef()
    for node in graph_def.node:
        if node.op != 'Dequantize':
            new_node = new_graph_def.node.add()
            new_node.CopyFrom(node)
            # 检查当前节点的输入是否来自Dequantize节点，是的话替换为Dequantize的输入
            for idx, input_node_name in enumerate(new_node.input):
                if input_node_name.startswith('Dequantize'):
                    # 找到对应的Dequantize节点，获取它的原始输入
                    for deq_node in graph_def.node:
                        if deq_node.name == input_node_name:
                            new_node.input[idx] = deq_node.input[0]
                            break
    
    # 保存修改后的图
    tf.train.write_graph(new_graph_def, '/home/sudheer_sure/r_mobilenet/tf_files/', 'modified_retrained_graph.pb', as_text=False)

之后用这个修改后的modified_retrained_graph.pb重新执行TOCO转换就行。

内容的提问来源于stack exchange，提问作者Sudheer Sure