You need to enable JavaScript to run this app.
导航
GPU 组件要求
最近更新时间:2023.11.08 18:49:36首次发布时间:2023.06.26 16:43:04

如果您希望在第三方边缘一体机上使用 aPaaS 工具包提供的 AI 推理和数据流服务,您需要确保边缘一体机具有 GPU 并且安装了指定的 GPU 组件。本文介绍了 AI 推理服务对不同架构(AMD64、AArch64)下 GPU 组件的具体要求,供您参考。

注意

如果您发现一体机不满足 GPU 组件要求,请联系您的一体机提供商为您安装对应组件。

AMD64 架构

组件要求

一体机必须已安装以下组件:

  • Nvidia Driver ≥ 515.76
  • CUDA Version ≥ 11.8
  • nvidia-container-toolkit ≥ 1.11.0-1

查询方法

您可以在一体机上使用以下命令查询组件的安装情况:

  • 查询 Nvidia Driver 和 CUDA 的信息:

    nvidia-smi
    

    返回结果示例:

    Tue Jun 13 19:57:54 2023
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 515.76       Driver Version: 515.76       CUDA Version: 11.8     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |                               |                      |               MIG M. |
    |===============================+======================+======================|
    
  • 查询 nvidia-container-toolkit 的信息

    sudo apt list --installed | grep nvidia
    

    返回结果示例:

    libnvidia-container-tools/buster,now 1.11.0-1 amd64 [installed,upgradable to: 1.13.1-1]
    libnvidia-container1/buster,now 1.11.0-1 amd64 [installed,upgradable to: 1.13.1-1]
    nvidia-container-toolkit-base/buster,now 1.11.0-1 amd64 [installed,upgradable to: 1.13.1-1]
    nvidi
    
    

AArch64 架构

组件要求

  • Jetpack ≥ 5.0.2;Release 版本 ≥ R35.1
  • Nvidia container 相关
    • nvidia-container-toolkit ≥ 1.13.1-1
    • nvidia-container-runtime ≥ 3.13.0-1

查询方法

  • 查询 Jetpack 信息

    sudo apt-cache show nvidia-jetpack
    

    返回结果示例:

    Package: nvidia-jetpack
    Version: 5.0.2-b231
    Architecture: arm64
    Maintainer: NVIDIA Corporation
    Installed-Size: 194
    Depends: nvidia-jetpack-runtime (= 5.0.2-b231), nvidia-jetpack-dev (= 5.0.2-b231)
    
  • 查询 Jetpack Release 信息

    cat /etc/nv_tegra_release
    

    返回结果示例:

    R35 (release), REVISION: 1.0, GCID: 31346300, BOARD: t186ref, EABI: aarch64, DATE: Thu Aug 25 18:41:45 UTC 2022
    
  • 查询 Nvidia container 信息

    sudo apt list --installed | grep nvidia
    

    返回结果示例:

    libnvidia-container-tools/bionic,now 1.13.1-1 arm64 [installed,automatic]
    libnvidia-container0/bionic,stable,now 0.11.0+jetpack arm64 [installed,automatic]
    libnvidia-container1/bionic,now 1.13.1-1 arm64 [installed,automatic]
    nvidia-container-runtime/bionic,now 3.13.0-1 all [installed]
    nvidia-container-toolkit-base/bionic,now 1.13.1-1 arm64 [installed,automatic]
    nvidia-container-toolkit/bionic,now 1.13.1-1 arm64 [installed,automatic]