TensorRT引擎与PyTorch模型预测不一致问题排查及预处理对齐咨询

一、预处理对齐（核心差异点） #

1. 图像插值方式统一 #

Albumentations的A.Resize默认使用双线性插值，而Deepstream分类模块的默认插值方式可能不同，需强制配置对齐：

• 在分类模块的[property]段添加：

  # 1代表双线性插值，对应Albumentations默认值
  pre-process-interpolation-method=1
  

  取值说明：0=最近邻，1=双线性，2=双三次，3=Lanczos

2. 归一化逻辑完全匹配 #

你的PyTorch预处理公式是(像素值/255 - mean) / std，但当前Deepstream配置的offsets和net-scale-factor对应Caffe风格的BGR归一化，两者逻辑完全不符，需修正：

[property]
# 强制输入为RGB（与PyTorch/Albumentations一致，Deepstream默认是BGR）
model-color-format=0
# 对应PyTorch的Normalize：(x/255 - mean)/std = x*(1/(255*std)) - (mean/std)
offsets=-2.1179;-2.0357;-1.8115  # 即 -0.485/0.229, -0.456/0.224, -0.406/0.225
net-scale-factor=0.0171;0.0175;0.0178  # 即 1/(255*0.229), 1/(255*0.224), 1/(255*0.225)

3. 裁剪逻辑一致性验证 #

• 确认YoloV4输出的bounding box是基于416×416图像的绝对坐标，本地裁剪时严格使用相同坐标计算方式（包括浮点坐标的取整、边界溢出截断规则）
• 避免本地裁剪时因库（如OpenCV/PIL）的默认行为差异导致图像内容变化

二、其他潜在错误排查 #

1. TensorRT引擎兼容性问题 #

• 你使用的是单独的TensorRT 21.02容器导出引擎，但Deepstream 5.1对应TensorRT 7.1.3，版本不匹配可能导致引擎逻辑异常，建议改用Deepstream自带的TensorRT环境导出引擎
• 先尝试导出FP32引擎（去掉--fp16参数），排除FP16精度损失导致的结果差异
• ONNX导出时显式设置do_constant_folding=True，确保模型结构被正确优化

2. 模型结构冗余检查 #

你在导出ONNX时给模型附加了nn.Softmax(-1)，需确认：

• Deepstream分类模块是否会自动添加Softmax，如果是则会出现两次Softmax，导致输出异常
• 可通过Netron工具查看ONNX模型结构，或去掉ONNX中的Softmax层，再重新导出引擎测试

3. 图像加载/保存的通道一致性 #

• 本地加载PNG图像时，确保自动转换为RGB格式，避免因BGR/RGB通道顺序颠倒导致的预处理差异
• 验证本地裁剪后的图像尺寸严格为224×224，与Deepstream的infer-dims配置一致

三、验证步骤建议 #

• 单图张量对比：选取一张差异明显的图像，分别导出Deepstream分类模块的输入张量和本地PyTorch预处理后的张量，逐像素对比定位差异环节
• ONNX与TensorRT输出对比：用同一输入张量分别运行ONNX模型和TensorRT引擎，确认输出是否一致，排除引擎导出问题
• 跳过检测环节测试：将本地裁剪好的图像直接输入Deepstream分类模块，验证结果是否与本地一致，排查裁剪环节的问题

内容的提问来源于stack exchange，提问作者Zygislu