## 背景信息 GPU云服务器正常工作需提前安装正确的基础设施软件，对NVIDIA Tesla系列的GPU而言，有以下两个层次的软件包需要安装： * 驱动GPU工作的硬件驱动程序。 * 上层应用程序所需要的库。在通用计算场景下，如深度学习、AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景，安装了Tesla驱动的GPU实例才可以发挥高性能计算能力，或提供更流畅的图形显示效果。 ## 安装方式为方便使用，实例购买页提供了多种安装GPU驱动及关联CUDA、cuDNN的方式。在购买GPU实例时，您可以根据业务需求选择不同方式完成驱动部署。平台提供的GPU实例规格及其发布状态请参见[GPU实例规格族列表](https://www.volcengine.com/docs/6419/1088202#FZuiXLTc)。 |安装方式 |说明 | |---|---| |方式一：选择常规版公共镜像后自动安装驱动 |在实例购买页选择镜像步骤，选择常规版公共镜像并勾选“后台自动安装GPU驱动”选项。 | |方式二：使用预装了Tesla驱动的GPU版公共镜像 |在实例购买页选择镜像步骤，选择预装了Tesla驱动的GPU版公共镜像。 | |方式三：选择常规版公共镜像后通过自定义数据安装驱动 |在实例购买页选择镜像步骤选择常规版公共镜像，并通过自定义数据传入驱动安装脚本，在实例启动时自动安装。 | ### 方式一：选择常规版公共镜像后自动安装驱动 #### 注意事项 |阶段 |说明 | |---|---| |购买实例 |* 若您需要批量购买安装GPU驱动的实例，建议您先购买一台开启“后台自动安装GPU驱动”功能的实例，再通过其[创建自定义镜像](https://www.volcengine.com/docs/6396/71393)，最后使用自定义镜像批量购买实例（无需开启“后台自动安装GPU驱动”功能），减少安装GPU驱动耗时。|\ | |* 如果您在GPU驱动未完成安装前停止或重启实例，导致安装中断，启动后的实例不带GPU驱动，且不再继续安装。|\ | |* 自动安装GPU驱动过程中，会下载驱动安装包，建议您的系统盘大小在40GB以上，避免由于磁盘空间不足造成安装失败。 | |使用实例 |* 若您使用开启了“后台自动安装GPU驱动”的实例创建自定义镜像，则该镜像中包含GPU驱动、CUDA和cuDNN库。|\ | |* 为自动安装了GPU驱动的实例更换操作系统时，若您开启“后台自动安装GPU驱动”，系统将会重新安装GPU驱动。|\ | |* 若默认的驱动版本无法再满足您的业务需求，您可以[卸载NVIDIA驱动](https://www.volcengine.com/docs/6419/68598)后，[手动安装GPU驱动](https://www.volcengine.com/docs/6419/68597)和[安装CUDA工具包](https://www.volcengine.com/docs/6419/69858)。 | #### 操作步骤 1. 前往[实例购买页](https://console.volcengine.com/ecs/region:ecs+cn-beijing/instance?)。 2. 选择要购买的GPU实例规格。 3. 在 **镜像** 处，选择 **公共镜像**，并选择常规版的Linux或veLinux公共镜像。 4. 勾选“后台自动安装GPU驱动”，选择驱动版本。系统将自动安装指定版本的GPU驱动、CUDA和cuDNN库。系统自动安装过程相对耗时，实例启动时间会更长，并伴有自动重启，从创建到驱动安装完成总耗时约 15 到 20 分钟。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_d0e936464793009eb96501448ca52f9a.png =600x) 5. 配置其他参数，完成购买实例操作。配置参数的详细信息，请参见[通过向导购买实例](https://www.volcengine.com/docs/6396/67743)。 #### 镜像列表支持的公共镜像及配套的驱动版本如下表所示，不同实例规格支持选择的镜像不同，具体请以实例购买页面为准。 :::warning 部分常规版公共镜像支持在购买GPU实例时使用，但镜像中并未内置GPU驱动，也不支持后台自动安装，需要您在实例创建完成后手动安装相关驱动。例如，下图中的Windows Server 2022 数据中心版 64位中文版公共镜像，支持在购买GPU计算型gni3cl实例时使用，但使用该镜像创建的gni3cl未安装任何驱动，您可以在实例创建完成后手动[安装GPU驱动](https://www.volcengine.com/docs/6419/68597)和[CUDA工具包](https://www.volcengine.com/docs/6419/69858)，才能正常使用该实例。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a3eae183fdd7c41a18853bea0a67c231.png =553x) ::: |GPU驱动 |CUDA版本 |cuDNN版本 |支持的公共镜像 |支持的GPU实例规格族 |是否已安装Fabric Manager | |---|---|---|---|---|---| |570.86.15 |12.8.0 |9.8.0.87 |* veLinux 2.0|* pni3l/pni3ld|是 |\ | | | |* Ubuntu 22.04|* hpcpni3ln| |\ | | | |* Debian 12 |* ebmhpcpni3ln| |\ | | | | |* ebmhpcpni3l| |\ | | | | |* hpcpni3le | | |^^|^^|^^|* Ubuntu 22.04|* gni3cg/gni3cgd|否 |\ | | | |* Debian 12|* gni3cl| |\ | | | |* Rocky Linux 9.1 |* gna3c/gna3cd| |\ | | | | |* gni3c| |\ | | | | |* ebmgni3c| |\ | | | | |* gni3/ebmgni3 | | |550.144.03|12.4.1|9.2.1.18 |* Ubuntu 22.04|* pni3l/pni3ld|是 |\ | | | |* Debian 12 |* hpcpni3ln| |\ | | | | |* ebmhpcpni3ln| |\ | | | | |* ebmhpcpni3l| |\ | | | | |* hpcpni3le| |\ | | | | |* pni2 | | |^^|^^|^^|* Ubuntu 22.04|* gni3cg/gni3cgd|否 |\ | | | |* Debian 12|* gni3cl| |\ | | | |* CentOS 7.9|* gna3c/gna3cd| |\ | | | |* Rocky Linux 9.1 |* gni3c| |\ | | | | |* ebmgni3c| |\ | | | | |* gni3/ebmgni3 | | |535.261.03 |12.2.2 |8.9.2.26 |* veLinux 1.0|* pni3l/pni3ld|是 |\ | | | |* Ubuntu 22.04 |* hpcpni3ln| |\ | | | | |* ebmhpcpni3ln| |\ | | | | |* ebmhpcpni3l| |\ | | | | |* hpcpni3le| |\ | | | | |* pni2 | | |^^|^^|^^|* veLinux 1.0|* gni3cg/gni3cgd|否 |\ | | | |* veLinux 1.0 with 5.10 kernel|* gni3cl| |\ | | | |* Ubuntu 22.04|* gna3c/gna3cd| |\ | | | |* CentOS 7.9|* gni3c| |\ | | | |* Rocky Linux 9.1 |* ebmgni3c| |\ | | | | |* gni3/ebmgni3 | | |550.127.05 |12.4.1 |9.2.1.18 |veLinux 1.0|* pni3l/pni3ld|是 |\ | | | | |* hpcpni3ln| |\ | | | | |* ebmhpcpni3ln| |\ | | | | |* ebmhpcpni3l| |\ | | | | |* hpcpni3le| |\ | | | | |* pni2 | | |^^|^^|^^|* veLinux 1.0|* gni3cg/gni3cgd|否 |\ | | | |* veLinux 1.0 with 5.10 kernel |* gni3cl| |\ | | | | |* gna3c/gna3cd| |\ | | | | |* gni3c| |\ | | | | |* ebmgni3c | | |535.129.03 |12.2.2 |8.9.7.29 |* Ubuntu 22.04|g1ve |是 |\ | | | |* Ubuntu 20.04| | |\ | | | |* Debian 10| | |\ | | | |* veLinux 1.0| | |\ | | | |* veLinux 1.0 CentOS兼容版 | | | |535.129.03 |12.1.0 |8.9.7.29 |* Ubuntu 22.04|g1ve |是 |\ | | | |* Ubuntu 20.04| | |\ | | | |* Debian 10| | |\ | | | |* veLinux 1.0| | |\ | | | |* veLinux 1.0 CentOS兼容版 | | | |535.129.03 |11.8.0 |8.9.7.29 |Ubuntu 18.04 |g1ve |是 | |470.161.03 |11.4.1/11.4.0 |8.7.0.84 |* Ubuntu 22.04|* ini2|是 |\ | | | |* Ubuntu 20.04|* g1te| |\ | | | |* Ubuntu 18.04|* g1tl| |\ | | | |* Debian 10|* g1vc| |\ | | | |* veLinux 1.0|* g1ve | |\ | | | |* veLinux 1.0 CentOS兼容版| | |\ | | | || | |\ | | | |:::tip| | |\ | | | |除Ubuntu 22.04配套的CUDA版本为11.4.1之外，其余镜像均为11.4.0。| | |\ | | | || | |\ | | | |:::| | | |470.129.06 |11.4.1/11.4.0 |8.7.0.84 |* Ubuntu 22.04|* ini2|是 |\ | | | |* Ubuntu 20.04|* g1te| |\ | | | |* Ubuntu 18.04|* g1tl| |\ | | | |* Debian 10|* g1vc| |\ | | | |* veLinux 1.0|* g1ve | |\ | | | |* veLinux 1.0 CentOS兼容版| | |\ | | | || | |\ | | | |:::tip| | |\ | | | |除Ubuntu 22.04配套的CUDA版本为11.4.1之外，其余镜像均为11.4.0。| | |\ | | | || | |\ | | | |:::| | | ### 方式二：使用预装了Tesla驱动的GPU版公共镜像 #### 操作步骤内置了驱动的GPU版公共镜像，通常以with GPU Driver xx为后缀命名，表示默认安装了相应版本的GPU驱动。 1. 前往[实例购买页](https://console.volcengine.com/ecs/region:ecs+cn-beijing/instance?)。 2. 选择要购买的GPU实例规格。 3. 在 **镜像** 处，选择 **公共镜像**，并选择GPU版公共镜像。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_84f220a10e1a4e2451775464fa632b09.png =591x) 4. 配置其他参数，完成购买实例操作。配置参数的详细信息，请参见[通过向导购买实例](https://www.volcengine.com/docs/6396/67743)。 #### 镜像列表 GPU版镜像列表如下所示，不同实例规格支持选择的镜像略有不同，具体请以实例购买页面为准。 ```mixin-react return ( ); ``` ### 方式三：选择常规版公共镜像后通过自定义数据安装驱动 1. 前往[实例购买页](https://console.volcengine.com/ecs/region:ecs+cn-beijing/instance?)。 2. 选择要购买的GPU实例规格。 3. 在 **镜像** 处，选择 **公共镜像**，并选择常规版的Linux或veLinux公共镜像。 4. 在 **自定义配置** \> **高级配置** \> **高级选项** \> **自定义数据** 模块中，填入GPU驱动安装脚本。 :::tip * 请参考[镜像列表](https://www.volcengine.com/docs/6419/1606352#FeNrLyHk)说明，根据您创建的GPU实例规格和镜像，选择需要安装的GPU驱动、CUDA及cuDNN库版本。 * 请通过如下参数指定待安装的驱动版本。若您无需安装某项内容（例如CUDA），可将其值置空。 * `CUDA_VERSION`：表示安装的CUDA版本。 * `GPU_DRIVER_VERSION`：表示安装的GPU驱动版本。 * `CUDNN_VERSION`：表示安装的cuDNN库版本。 * 若您通过[RunInstances - 创建实例](https://www.volcengine.com/docs/6396/76275)接口创建GPU实例，可以通过`Userdata`参数传入Base64编码后的驱动安装脚本，在实例首次启动时自动安装GPU驱动、CUDA及cuDNN库。 ::: ```Bash #!/bin/bash CUDA_VERSION=12.4.1 GPU_DRIVER_VERSION=550.144.03 CUDNN_VERSION=9.2.1.18 INSTALL_DIR="/root/auto_install" auto_install_script="gpu_driver_install.sh" MAX_RETRIES=2 RETRY_COUNT=0 while [ $RETRY_COUNT -le $MAX_RETRIES ]; do REGION=$(wget -O - -a /var/log/wget.log -t 1 --timeout=10 "http://100.96.0.96/latest/region_id" 2>/dev/null) if [ -n "$REGION" ]; then echo "Successfully obtained REGION: $REGION" break else RETRY_COUNT=$((RETRY_COUNT + 1)) echo "Failed to obtain REGION, retry count: $RETRY_COUNT" sleep 2 fi done if [ -z "$REGION" ]; then echo "Error: Failed to obtain REGION. Please check if the network connection or URL is correct." exit 1 fi if [[ "$REGION" == "cn-chengdu-sdv" ]]; then script_download_url="https://gpu-install-script.tos-cn-boe.volces.com/${auto_install_script}" else script_download_url="https://gpu-install-script-${REGION}.tos-${REGION}.ivolces.com/${auto_install_script}" fi rm -rf $INSTALL_DIR mkdir -p $INSTALL_DIR cd $INSTALL_DIR for i in $(seq 1 10); do echo "Attempt $i ..." wget --timeout=10 "$script_download_url" && break done bash ${INSTALL_DIR}/${auto_install_script} $GPU_DRIVER_VERSION $CUDA_VERSION $CUDNN_VERSION ``` 5. 配置其他参数，完成购买实例操作。配置参数的详细信息，请参见[通过向导购买实例](https://www.volcengine.com/docs/6396/67743)。 ## 相关文档 * 如果您在购买实例时未自动安装Tesla驱动，则需要在购买实例后，单独安装相应驱动。具体操作，请参见： * [安装GPU驱动](https://www.volcengine.com/docs/6419/68597) * [安装CUDA工具包](https://www.volcengine.com/docs/6419/69858) * [安装NVIDIA-Fabric Manager软件包](https://www.volcengine.com/docs/6419/73634) * 如需升级Tesla驱动版本，请参考[如何升级NVIDIA Tesla驱动？](https://www.volcengine.com/docs/6419/102549#.5aaC5L2V5Y2H57qnTlZJRElBIFRlc2xh6amx5Yqo77yf)