TensorFlow加载ONNX转换的pb模型报解析错误如何解决

你遇到的解析错误核心是转换生成的.pb文件不符合TensorFlow标准SavedModel格式规范，你使用的两种加载API都要求输入路径指向结构完整、格式合法的SavedModel目录，孤立的pb文件、转换流程出错生成的无效pb都会触发该报错。

1. 先确认SavedModel目录结构完整性 #

合法的TensorFlow SavedModel不是单个pb文件，必须包含固定的目录结构，缺少任意组件都会加载失败：

模型存放目录/
├── saved_model.pb  # 存储模型计算图结构
└── variables/      # 存储模型所有权重参数
    ├── variables.data-00000-of-00001
    └── variables.index

你当前仅把pb文件放在./models/路径下，没有配套的variables目录，本身就不满足加载要求。

2. 修正ONNX到TensorFlow的转换流程 #

绝大多数无效pb问题都是转换时依赖版本不兼容、转换代码错误导致的：

• 先安装版本兼容的依赖包，推荐固定版本组合避免适配问题：

pip install tensorflow==2.10.0 onnx==1.12.0 onnx-tf==1.10.0

• 使用标准转换代码导出完整SavedModel，不要使用零散的第三方转换工具：

import onnx
from onnx_tf.backend import prepare

# 加载从PyTorch(.pth)导出的ONNX模型
onnx_model = onnx.load("your_pretrained_model.onnx")
# 完成ONNX到TF计算图的转换
tf_model_rep = prepare(onnx_model)
# 导出为标准SavedModel格式，导出路径会自动生成pb文件和variables目录
tf_model_rep.export_graph("./models/valid_saved_model/")

3. 使用正确的API加载模型 #

转换完成后先脱离FastAPI单独验证加载逻辑，确认模型可用再集成到服务中：

• 你之前用的tf.keras.models.load_model仅支持加载Keras接口保存的模型，从ONNX转换得到的是原生TensorFlow计算图，必须用以下方式加载：

import tensorflow as tf
# 注意路径指向整个导出的SavedModel目录，不是单个pb文件
MODEL = tf.saved_model.load("./models/valid_saved_model/")
# 验证模型签名正常，能正常输出则模型可用
print(MODEL.signatures)

如果转换过程中出现算子不兼容报错，不要强行跳过校验导出文件，这类导出的pb即使能侥幸加载也无法正常推理。遇到算子不支持问题可以先升级onnx-tf版本，或先用onnx-simplifier简化ONNX模型的算子结构后再做转换。

内容的提问来源于stack exchange，提问作者siddharth patel