如何用TensorRT为基于DLA的ResNet50生成动态Batch Size推理引擎？

第一步：修复文件路径错误 #

日志核心错误是Could not open file ../model.onnx，说明trtexec命令中指定的ONNX文件路径不正确：

• 你通过PyTorch导出的model.onnx存放在脚本执行的当前目录，而直接从/usr/src/tensorrt/bin/执行trtexec时，../会指向/usr/src/tensorrt/目录，并非你的模型文件所在路径。
• 两种修正方式：
  • 使用绝对路径指定ONNX文件，例如--onnx=/home/your_username/your_model_dir/model.onnx
  • 先切换到模型文件所在目录，再执行trtexec命令：

    cd /path/to/your/model/directory
    /usr/src/tensorrt/bin/trtexec --onnx=model.onnx ...（其他参数）
    

第二步：动态Batch Size + DLA的正确配置要点 #

你已能生成静态Batch的DLA引擎，针对动态Batch场景，需注意以下细节：

1. ONNX导出验证：你的PyTorch导出代码已正确配置dynamic_axes声明动态Batch维度，opset版本11也符合TensorRT兼容要求。可通过本地工具（如Netron）查看ONNX文件，确认输入输出的Batch维度已标记为动态。
2. trtexec参数校验：
   • 确保--minShapes/--optShapes/--maxShapes中的输入名称（input）与ONNX文件中定义的输入名称完全一致
   • 你的命令已添加--allowGPUFallback，可让DLA不支持动态Batch的层自动回退到GPU执行，这是动态Batch+DLA场景的必要配置
   • --fp16参数符合DLA的精度支持要求，无需调整
3. 环境兼容性：
   • 确认TensorRT版本≥7.0（新版本才完善支持DLA动态Batch）
   • 若为Jetson平台，需通过nvidia-smi或Jetson配置工具确认DLA核心已启用

修正后的完整命令示例 #

假设你的model.onnx存放在/home/user/models/目录，执行以下命令：

cd /home/user/models/
/usr/src/tensorrt/bin/trtexec --onnx=model.onnx --minShapes=input:1x3x224x224 --optShapes=input:16x3x224x224 --maxShapes=input:32x3x224x224 --saveEngine=model.engine --fp16 --useDLACore=0 --allowGPUFallback --verbose

添加--verbose参数可输出更详细日志，方便后续排查其他潜在问题。

内容的提问来源于stack exchange，提问作者MT 16