升级到TensorRT 7后构建或加载CUDA引擎出现偶发崩溃问题

1 环境兼容性校验 #

TensorRT对CUDA、cuDNN、ONNX的版本匹配要求极高，版本不匹配是隐性偶发崩溃的最常见诱因：

• 你当前使用的TensorRT 7.2.3官方适配的cuDNN版本为8.0.x系列，现有cuDNN 8.1.1属于跨版本，存在API兼容性隐患。请卸载当前cuDNN，替换为cuDNN 8.0.5版本，重新编译代码后验证
• 当前ONNX 1.6.0与TensorRT 7.2.3内置的ONNX Parser适配性存在已知问题，建议升级ONNX到1.8.x版本，重新导出ONNX模型后再测试

2 代码逻辑缺陷修正 #

现有代码存在多处未做合法性校验、资源生命周期管理错误的问题：

• 补全引擎文件读取合法性校验：当前代码未处理文件打开失败的场景，空数据传入反序列化接口必然触发崩溃

std::ifstream file(mParams.loadEngine, std::ios::binary);
if (!file.good()) {
    gLogError << "Load engine file failed: " << mParams.loadEngine << std::endl;
    return false;
}
// 原有读取文件逻辑

• 修正Runtime销毁时机：TensorRT 7.x版本中，Runtime的生命周期需要覆盖Engine的完整使用周期，现有代码创建Engine后立刻销毁Runtime会导致野指针问题。建议将Runtime也改为智能指针管理，和Engine生命周期绑定，或在Engine销毁后再执行Runtime销毁操作
• 补全ONNX解析结果校验：当前代码未校验ONNX解析结果，模型解析存在隐性错误时会直接触发后续构建崩溃

auto parseRet = parser->parseFromFile(locateFile(mParams.onnxFileName, mParams.dataDirs).c_str(), static_cast<int>(gLogger.getReportableSeverity()));
if (!parseRet) {
    for (int i = 0; i < parser->getNumErrors(); ++i) {
        gLogError << parser->getError(i) << std::endl;
    }
    return false;
}

• 移除无效参数设置：你已开启kEXPLICIT_BATCH显式Batch模式，builder->setMaxBatchSize(mParams.batchSize)为无效配置，可能引发兼容性问题，可直接删除该行
• 显式判断API返回值：deserializeCudaEngine、buildEngineWithConfig执行后先判断返回值是否为nullptr，再赋值给shared_ptr，避免空指针构造智能指针触发崩溃

3 运行时参数校验 #

• 检查显存占用：构建引擎时配置的4GiB工作空间需要确保空闲显存足够，偶发崩溃可能是当前设备显存被其他进程占用，导致显存分配失败
• 关闭DLA测试：如果你的设备不是Jetson Xavier/Orin等支持DLA的嵌入式平台，不要设置dlaCore参数，强制走GPU推理测试复现
• 开启Debug日志：将gLogger的日志级别调整为VERBOSE，捕获崩溃前的详细TRT日志，定位具体触发崩溃的算子或环节

4 稳定性验证方案 #

• 先使用TensorRT官方的trtexec工具加载你的ONNX模型/序列化引擎，反复运行10次以上，如果trtexec也出现偶发崩溃，证明是环境/模型本身的问题，否则为业务代码逻辑问题
• 使用gdb运行程序，崩溃时打印堆栈信息，明确是TRT内部库崩溃还是代码内存访问出错

内容的提问来源于stack exchange，提问作者Mahsa