GPU 组件要求

如果您希望在第三方边缘一体机上使用 aPaaS 工具包提供的 AI 推理和数据流服务，您需要确保边缘一体机具有 GPU 并且安装了指定的 GPU 组件。本文介绍了 AI 推理服务对不同架构（AMD64、AArch64）下 GPU 组件的具体要求，供您参考。

AMD64 架构

组件要求

一体机必须已安装以下组件：

• Nvidia Driver ≥ 515.76
• CUDA Version ≥ 11.8
• nvidia-container-toolkit ≥ 1.11.0-1

查询方法

您可以在一体机上使用以下命令查询组件的安装情况：

• 查询 Nvidia Driver 和 CUDA 的信息：

  nvidia-smi
  

  返回结果示例：

  Tue Jun 13 19:57:54 2023
  +-----------------------------------------------------------------------------+
  | NVIDIA-SMI 515.76       Driver Version: 515.76       CUDA Version: 11.8     |
  |-------------------------------+----------------------+----------------------+
  | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
  | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
  |                               |                      |               MIG M. |
  |===============================+======================+======================|
  

• 查询 nvidia-container-toolkit 的信息

  sudo apt list --installed | grep nvidia
  

  返回结果示例：

  libnvidia-container-tools/buster,now 1.11.0-1 amd64 [installed,upgradable to: 1.13.1-1]
  libnvidia-container1/buster,now 1.11.0-1 amd64 [installed,upgradable to: 1.13.1-1]
  nvidia-container-toolkit-base/buster,now 1.11.0-1 amd64 [installed,upgradable to: 1.13.1-1]
  nvidi
  
  

AArch64 架构

组件要求

• Jetpack ≥ 5.0.2；Release 版本 ≥ R35.1
• Nvidia container 相关
  • nvidia-container-toolkit ≥ 1.13.1-1
  • nvidia-container-runtime ≥ 3.13.0-1

查询方法

• 查询 Jetpack 信息

  sudo apt-cache show nvidia-jetpack
  

  返回结果示例：

  Package: nvidia-jetpack
  Version: 5.0.2-b231
  Architecture: arm64
  Maintainer: NVIDIA Corporation
  Installed-Size: 194
  Depends: nvidia-jetpack-runtime (= 5.0.2-b231), nvidia-jetpack-dev (= 5.0.2-b231)
  

• 查询 Jetpack Release 信息

  cat /etc/nv_tegra_release
  

  返回结果示例：

  R35 (release), REVISION: 1.0, GCID: 31346300, BOARD: t186ref, EABI: aarch64, DATE: Thu Aug 25 18:41:45 UTC 2022
  

• 查询 Nvidia container 信息

  sudo apt list --installed | grep nvidia
  

  返回结果示例：

  libnvidia-container-tools/bionic,now 1.13.1-1 arm64 [installed,automatic]
  libnvidia-container0/bionic,stable,now 0.11.0+jetpack arm64 [installed,automatic]
  libnvidia-container1/bionic,now 1.13.1-1 arm64 [installed,automatic]
  nvidia-container-runtime/bionic,now 3.13.0-1 all [installed]
  nvidia-container-toolkit-base/bionic,now 1.13.1-1 arm64 [installed,automatic]
  nvidia-container-toolkit/bionic,now 1.13.1-1 arm64 [installed,automatic]