mGPU 多卡共享

容器服务提供 mGPU 多卡共享功能，在双层调度的基础上，单个容器可使用同一节点上的多张 GPU 卡共同提供算力和显存资源，打破同一个容器使用算力/显存局限于一张 GPU 卡的束缚，提高 GPU 碎片化资源利用率。本文为您详细介绍如何使用 mGPU 多卡共享功能。

前提条件

• 已经创建集群并完成 mGPU 相关基础资源配置，包括：安装 mGPU 组件、创建 GPU 节点。详细介绍参见：mGPU 使用方法。
• 已经将 GPU 节点和工作负载的算力分配策略配置为native-burst-share，详细介绍参见：配置 mGPU 算力分配策略。

使用限制

• mGPU 多卡共享功能，仅在native-burst-share算力分配策略下生效，否则无法满足多卡调度需求。
• 本场景依赖的多个组件存在版本限制，推荐新建集群和节点直接使用最新版组件；若期望使用已有集群和节点搭建该场景，请提交 工单申请 获取技术支持，升级组件版本。详细限制如下：

操作步骤

本文以创建无状态负载（Deployment）为例进行介绍，详细创建步骤参见：创建无状态负载。

方式一：通过控制台配置

1. 创建无状态负载的容器配置步骤，在资源配额中启用多卡共享配置，并按需配置 GPU 算力、GPU 显存和 GPU 卡数。

2. 完成容器配置后单击 下一步:高级配置，进入高级配置步骤。启用多卡共享场景，将默认配置两条实例注解，不允许删除或修改，否则无法满足多卡调度需求。

• vke.volcengine.com/container-multiple-gpu: "2"：GPU 卡数，例如 "1,2,3"，与容器一一对应，分别表示各容器所需使用的卡数，若不能对应将报错。
• vke.volcengine.com/mgpu-compute-policy: native-burst-share：GPU 算力分配策略，多卡共享场景固定配置为 native-burst-share。

3. 完成所有配置后，单击 确定，将开始创建无状态负载。

方式二：通过 YAML 配置

GPU 多卡共享功能通过实例注解（Annotation）实现，除了常规配置外，还需要增加以下两条实例注解配置。

• vke.volcengine.com/container-multiple-gpu: "2"：GPU 卡数，例如 "1,2,3"，与容器一一对应，分别表示各容器所需使用的卡数，若不能对应将报错。
• vke.volcengine.com/mgpu-compute-policy: native-burst-share：GPU 算力分配策略，多卡共享场景固定配置为 native-burst-share。

通过 YAML 配置 mGPU 多卡共享的示例如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: mgpu-deployment # Deployment 名称。
  namespace: default # Deployment 所属命名空间。
spec:
  replicas: 1 # Pod 实例个数。 
  selector:
    matchLabels:
      app: mgpu-deployment
  template:
    spec:
      containers:
      - name: mgpu-container # 容器名称。
        image: nginx:1.14.2 # 容器镜像地址。
        resources:
         requests:   #与 limits 保持一致
           vke.volcengine.com/mgpu-memory: 4096
           vke.volcengine.com/mgpu-core: 30
         limits:
           vke.volcengine.com/mgpu-memory: 4096   # GPU 显存，单位为 MiB，此处表示 GPU 显存为 4 GiB。
           vke.volcengine.com/mgpu-core: 30      # GPU 算力百分比，此处表示配置 30% 的 GPU 算力。
        ports:
        - containerPort: 80
    metadata:
      annotations:
        vke.volcengine.com/container-multiple-gpu: "2" # GPU 卡数，例如 "1,2,3"，与容器一一对应，分别表示各容器所需使用的卡数。
        vke.volcengine.com/mgpu-compute-policy: native-burst-share # GPU 算力分配策略，多卡共享场景固定配置为 native-burst-share。
      labels:
        app: mgpu-deployment