TFLite Converter未替换dummy_function为TFLite_Detection_PostProcess问题排查

1. 检查Dummy函数的合规性 #

• 必须返回固定顺序的4个张量：检测框坐标（归一化后，形状[1, N, 4]）、类别分数（[1, N, num_classes]）、类别ID（[1, N]）、有效检测数量（[1]），顺序和形状不能错
• 函数内部只能是极简的零值/占位张量返回逻辑，不能加额外运算（比如自定义解码、维度变换），否则TFLite转换器无法识别为可替换的占位符
• 输入参数要严格匹配TFLite_Detection_PostProcess的要求：通常需要预测框、预测分数、锚点（如果用锚框解码）、图像原始尺寸，参数顺序和形状必须和官方规范一致

2. 验证转换器配置与模块结构 #

• 转换时必须启用自定义操作和Select TF Ops，配置示例：

  converter = tf.lite.TFLiteConverter.from_concrete_functions([your_module.inference.get_concrete_function()])
  converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS]
  converter.allow_custom_ops = True
  converter.experimental_enable_resource_variables = True
  

• 确保模块内的解码逻辑是静态图兼容的：不能用Python原生控制流（比如普通if/for），必须用tf.cond/tf.while_loop；所有张量形状要固定或可静态推断，避免动态形状
• 优先用from_concrete_functions而非from_saved_model转换，能更精准控制输入输出形状，减少推断误差

3. 开启转换器调试日志 #

• 设置日志级别为DEBUG，查看融合过程的详细信息：

  tf.lite.logging.set_verbosity(tf.lite.logging.DEBUG)
  

  转换时会输出是否成功匹配TFLite_Detection_PostProcess模式，以及失败的具体原因（比如形状不匹配、函数结构不符合要求）
• 转换后用tflite_inspect工具查看模型结构：

  tflite_inspect model --model_file=your_model.tflite
  

  检查模型中是否存在TFLite_Detection_PostProcess节点，还是保留了dummy函数的原始节点

4. 最小化复现测试 #

• 写一个极简的tf.Module，只保留dummy函数和必要输入，不做额外解码逻辑，尝试转换验证是否能成功替换操作
• 对比官方SSD/MobileNet检测模型的后处理实现，逐一排查自己代码中输入输出形状、函数签名的差异

5. 零值输出的针对性排查 #

• 如果转换器未替换dummy函数，零值是预期结果，先解决融合问题；如果已替换但输出零值，检查：
  • 输入的预测框、分数张量是否正确传入模型（可通过TF Lite Interpreter打印输入张量数值验证）
  • 图像尺寸参数是否正确（需和输入图像的归一化逻辑匹配，比如是否是[height, width]的原始尺寸）
  • NMS的阈值参数（比如IoU阈值、分数阈值）是否设置合理，导致所有检测框被过滤

内容的提问来源于stack exchange，提问作者Robert Sundermeyer