如何移除TensorFlow Inception_V3微调后图中新增的不支持算子？

我之前在把微调后的TensorFlow模型转成UFF格式部署到Jetson TX2时，也碰到过类似的算子不兼容问题，给你分享几个实用的解决思路：

• 先排查算子来源，移除训练相关的冗余层
  你提到的RandomUniform大概率是训练阶段的随机操作（比如Dropout、随机数据增强）带来的，而Floor可能是预处理或某些自定义训练逻辑里的步骤。这些层在推理阶段完全不需要，所以可以在冻结模型前切换到推理模式：

  import tensorflow as tf
  
  # 加载微调后的模型
  model = tf.keras.models.load_model("your_fine_tuned_model.h5")
  # 切换到推理模式，自动禁用训练相关层
  model.trainable = False
  model.compile()  # 确保模型状态更新
  
  # 导出仅包含推理路径的图
  tf.keras.models.save_model(
      model,
      "./inference_only_model",
      include_optimizer=False,  # 关键：去掉优化器和训练相关节点
      save_format="tf"
  )
  

  之后再用这个推理模型去冻结和转UFF，很多训练专属的算子会被自动移除。

• 替换不支持的算子为UFF兼容版本
  如果Floor这类算子是推理必须的（比如某些自定义预处理逻辑），可以用TensorFlow中UFF支持的算子替代它。比如把tf.floor(x)替换成tf.cast(tf.math.trunc(x), tf.int32)，或者用tf.round()（如果业务逻辑允许的话）。替换后重新保存模型，再尝试转换。

• 自定义UFF算子转换器
  如果上述方法都不行，可以给不支持的算子写一个自定义转换逻辑，让UFF能识别并转换成TensorRT支持的层。比如针对Floor算子：

  import uff
  from uff.converters.tensorflow import register_tensorflow_converter
  
  @register_tensorflow_converter("Floor")
  def convert_floor(node, inputs, attrs, uff_graph):
      # 把Floor转换成TensorRT的ElementWise层（对应floor操作）
      return uff_graph.make_node(
          "ElementWise",
          inputs=inputs,
          outputs=[node.name],
          operation="FLOOR"
      )
  

  注册完转换器后，再执行UFF转换命令，就能处理这个算子了。

• 手动裁剪冻结图，只保留推理必要节点
  用tf.graph_util.convert_variables_to_constants冻结模型时，明确指定输出节点，让TensorFlow自动裁剪掉无关的节点：

  import tensorflow as tf
  from tensorflow.python.framework import graph_util
  
  sess = tf.keras.backend.get_session()
  graph_def = sess.graph.as_graph_def()
  
  # 指定模型的输出节点名称（可以通过model.output.name查看）
  output_node_names = ["predictions/Softmax"]
  # 裁剪并冻结图
  frozen_graph = graph_util.convert_variables_to_constants(
      sess, graph_def, output_node_names
  )
  # 保存冻结图
  tf.io.write_graph(frozen_graph, "./", "frozen_inference_graph.pb", as_text=False)
  

  转换UFF时用这个裁剪后的冻结图，能有效过滤掉冗余的训练节点。

另外，转换前可以用uff.from_tensorflow_frozen_model加上list_nodes=True参数，查看所有节点，确认不支持的算子具体位置，这样能更有针对性地处理：

uff.from_tensorflow_frozen_model(
    "frozen_inference_graph.pb",
    output_nodes=["predictions/Softmax"],
    list_nodes=True
)

内容的提问来源于stack exchange，提问作者Shruti Mittal