如何在ZED Orin Box中启用CUDA/CUDNN以支持YOLO GPU推理

一、先排查当前CUDA/CUDNN状态 #

先确认组件是否正常识别，执行以下命令：

• 检查CUDA版本：nvcc --version
• 检查CUDNN版本：cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
• 检查Jetson设备硬件状态：jetson_release
• 验证Python环境下GPU可用性：

  import torch
  print(torch.cuda.is_available())
  

如果nvcc命令找不到，大概率是环境变量未配置；如果版本与当前Jetpack不匹配，则需要重装组件。

二、快速修复：配置CUDA环境变量 #

若仅为环境变量问题，无需重装，执行以下步骤：

1. 打开bash配置文件：sudo nano ~/.bashrc
2. 添加对应Jetpack版本的CUDA路径（示例为Jetpack 5.1对应的CUDA 11.4，可根据实际版本调整）：

   export PATH=/usr/local/cuda-11.4/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH
   

3. 生效配置：source ~/.bashrc
4. 验证：重新执行nvcc --version确认输出正常

三、重装CUDA&CUDNN（基于Jetpack SDK） #

如果环境变量修复无效，直接通过SDK Manager重装：

1. 卸载现有残留组件：
   • 卸载CUDA：sudo apt-get purge cuda*
   • 卸载CUDNN：sudo apt-get purge libcudnn*
   • 清理冗余文件：sudo apt-get autoremove && sudo apt-get clean
2. 安装SDK Manager（本地Jetson设备上操作）：
   • 下载对应Jetpack版本的SDK Manager安装包，执行：sudo ./sdkmanager_xxx.deb
3. 启动SDK Manager：sdkmanager
4. 组件选择与安装：
   • 匹配Jetson Orin平台，勾选Jetpack核心组件，确保CUDA Toolkit、cuDNN、TensorRT被选中
   • 选择Local Installation模式，跟随向导完成安装，安装过程会自动配置环境变量
5. 安装完成后重启设备：sudo reboot
6. 再次执行第一步的排查命令，确认组件正常

四、解决设备重置失败问题 #

若恢复出厂设置无效，通过Recovery模式刷写系统：

1. 进入Recovery模式：
   • 关闭设备，用Type-C线连接到电脑，按住Recovery按钮的同时开机，保持按住约5秒后松开
2. 电脑端使用SDK Manager刷写系统：
   • 打开SDK Manager，选择Flash OS选项，匹配对应Jetpack版本，跟随向导完成系统刷写
3. 刷写完成后设备自动重启，重新配置ZED X相机驱动：
   • 安装ZED SDK：sudo dpkg -i zed_sdk_xxx.deb
   • 运行配置工具：zed-configure

五、YOLO GPU推理验证 #

完成上述步骤后，测试YOLO是否启用GPU：
以YOLOv8为例，指定CUDA设备运行：

from ultralytics import YOLO
model = YOLO('yolov8n.pt')
results = model('image.jpg', device='cuda')
print(results[0].speed) # 查看推理速度，确认GPU加速生效

内容的提问来源于stack exchange，提问作者sanjaii04