Pytorch经ONNX转TensorFlow后输入格式适配Vitis AI的方案问询
模型输入格式适配实操方案
核心问题逻辑:onnx_tf转换时会完全继承ONNX图定义的输入形状——也就是你导出时用的NCHW格式,不会自动转成TF原生的NHWC排布。而且Vitis AI编译模型时是直接读取模型文件里的输入节点定义的,你推理代码里写的numpy转置它根本感知不到,所以必须把维度转换逻辑固化到模型图内部,让模型对外的输入接口直接支持NHWC格式,才能顺利接入后续流程。
方案1:ONNX图预处理阶段插入转换节点(兼容性最优)
该方案不改动原有计算图的权重与算子逻辑,仅修改输入侧的形状定义,和现有工具链适配度最高:
- 完成原有PyTorch→ONNX导出、ONNX校验流程后,不要直接使用原始ONNX模型转TF,先加载ONNX图做两处修改:
- 将原输入节点
input0的形状从[1, 3, 1080, 1920]调整为TF原生的NHWC格式[1, 1080, 1920, 3] - 在修改后的输入节点后,紧邻插入一个
Transpose算子,配置perm参数为[0, 3, 1, 2],把进来的NHWC张量转回模型内部原本需要的NCHW排布,后续所有原模型节点的连接关系、权重值完全保持不变
- 将原输入节点
- 重新校验修改后的ONNX图,确认形状匹配、算子顺序无错误后,再调用
onnx_tf的prepare接口转换为TF 1.15的pb模型 - 最终导出的模型输入节点直接就是NHWC形状,完全满足Vitis AI的编译要求
方案2:TF图构建阶段嵌入转换逻辑(无需修改ONNX文件)
如果不想改动已生成的ONNX文件,可以在TF侧加载pb图时嵌入转换逻辑:
- 按照原有流程把ONNX转成原始的
hardnet.pb后,加载GraphDef时自定义新的对外输入占位符,形状定义为[None, 1080, 1920, 3](NHWC格式) - 在自定义占位符后接一个
tf.transpose算子,perm设为[0, 3, 1, 2],把NHWC输入转成原模型需要的NCHW格式,再将转好的张量接到原GraphDef中input0节点的输入位置 - 将修改完成的图重新导出为新的pb模型,该模型对外暴露的输入完全为NHWC格式,不需要推理侧手动做维度转置
实操避坑提示
- 不要尝试调用
onnx_tf自带的全图格式转换参数,该参数会批量修改所有卷积、池化层的权重排布逻辑,很容易因为opset版本兼容问题导致推理结果和原PyTorch模型出现精度偏差;我们的方案仅在输入侧做转换,内部计算逻辑完全和原模型一致,精度没有损失 - 注意归一化操作的维度匹配:原有mean、std是按照通道维度计算的,调整为NHWC格式后,通道维度在最后一维,需要保证广播逻辑和原PyTorch预处理完全一致,避免因归一化位置错乱拉低精度
- 编译Vitis AI模型时,最好把输入形状的动态维度固定(比如批量尺寸固定为1,高度、宽度固定为实际推理的1080*1920),避免量化阶段出现形状推导错误
适配后的推理测试代码片段
修改完成模型后,原代码里的手动维度转置操作可以直接删掉,简化后的推理逻辑如下:
mean = [0.485, 0.456, 0.406] std = [0.229, 0.224, 0.225] img = cv2.imread('train_0.jpg', cv2.IMREAD_COLOR) img = cv2.resize(img, (1920, 1080)) img = img / 255 # mean/std会自动匹配最后一维的通道维度做归一化,无需手动调整维度顺序 img = (img - mean) / std # 仅添加批量维度即可,不需要做transpose转置 img = np.expand_dims(img, axis=0) with tf.Session(graph=modified_graph) as sess: pred = sess.run(new_output_tensor, {new_input_tensor: img})
内容的提问来源于stack exchange,提问作者ninfueng
相关产品推荐
相关产品推荐

