本文主要介绍使用容器服务（VKE）快速部署基于 SGLang 的 DeepSeek-R1 满血版模型推理服务。

方案介绍

本方案结合火山引擎的多项加速技术，提供在 Kubernetes 集群中快速部署 DeepSeek-R1 大语言模型的方法：

• DeepSeek-R1 模型：由中国 AI 初创公司深度求索（DeepSeek）发布，R1 模型基于 DeepSeek-V3-Base 训练的推理模型，擅长数学、代码和自然语言推理，凭借开源、算法创新及高性价比获得广泛关注。
• GDKV 模型加速：由火山引擎提供的基于 RDMA + GDR（GPU Direct RDMA）技术实现的模型极速加载方案。
• 弹性极速缓存（EIC）：由火山引擎存储团队面向大语言模型推理场景推出的高性能分布式 KV Cache 缓存服务。

方案核心优势：

• 模型极速加载：通过多重加速技术将 DeepSeek-R1 模型加载时间压缩至 13 秒，提速 40 多倍。
• 缓存池化：通过整合 GPU 集群闲置内存和磁盘，构建分布式缓存池，突破单机内存墙限制。

部署信息

• 模型：DeepSeek-R1-671B
• 推理引擎：SGLang
• 实例规格：ecs.hpcpni3ln.45xlarge

支持能力

• 数据精度：FP8
• 模型加速：GDKV
• KV Cache：弹性极速缓存（EIC）
• 观测：托管 Prometheus（VMP）、应用性能监控全链路版（APM）
• 访问：API 网关（APIG）

使用说明

• 本实践涉及较多组件，相互间有依赖，配置复杂，为了获得符合预期的结果，请务必根据本文指引操作。

• 同时开启 GDKV 模型加速和 EIC 时，实例节点的内存可能成为瓶颈。如有性能需求，建议只开启 ECI。操作方式请参见：EIC 性能测试方法。

• 为了获得符合预期的结果，同时符合容器服务的 使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。

• 请勿使用 mGPU 对 GPU 进行切分。

• 完整的部署流程，依赖部分火山引擎邀测能力，请联系火山引擎客户经理申请如下功能的邀测试用：

  邀测功能/资源	涉及产品	说明
  高性能计算 GPU 型 hpcpni3ln 规格	云服务器	高性能计算实例，提供计算能力。
  节点挂载本地盘能力	容器服务	允许在 VKE 集群中配置本地盘挂载。
  弹性极速缓存产品	弹性极速缓存	由火山引擎存储团队面向大语言模型推理场景推出的高性能分布式 KV Cache 缓存服务。

前提条件

创建高性能计算集群

高性能计算集群，用于实现高性能计算 GPU 实例（计算节点）的逻辑隔离，同一集群内实例间 RDMA 网络互联互通。详情请参见 创建高性能计算集群。

创建 VKE 集群

在容器服务中创建集群，需要注意以下列举的参数配置。其余参数说明和详细的操作步骤，请参见 创建集群。

操作步骤

步骤一：创建 EIC 实例

EIC 通过以存代算、GDR 零拷贝等方式大幅降低推理 GPU 资源消耗，优化推理时延。

1. 登录 弹性极速缓存控制台。

2. 在左侧导航栏选择 实例管理，单击 创建实例。

3. 根据界面提示配置实例参数，其中部分参数按如下说明配置，其余参数按需自定义配置。
   
   

   配置项	说明
   VKE 集群	选择之前创建的 VKE 集群。
   存储类型	选择 DRAM。
   开启 RDMA	开启。
   节点	选择创建 VKE 集群时关联创建的节点。
   网卡	设置为eth1、eth2、eth3、eth4。

4. 单击页面右下角的 创建实例。实例状态显示 运行中，表示 EIC 实例创建成功。
   如果创建实例时发生错误，实例状态将转变为 创建失败，您可以将鼠标悬浮到实例状态上查询具体失败原因。确认原因后单击实例对应的 删除 按钮来销毁实例，然后重新创建实例。若无法自行处理，请联系火山引擎客户经理获取相关技术支持。

步骤二：部署 LeaderWorkerSet

本文使用 LeaderWorkerSet（LWS）来编排多节点的推理负载 (例如 DeepSeek R1 需要跨两个节点部署)，LWS 支持把一组 Pod 作为 Replicate 的对象。

1. 登录 容器服务控制台。

2. 在左侧导航栏，选择 应用中心 > 应用模板，下拉到页面底部，单击 更多应用模板。

3. 找到 leader-worker-set，鼠标悬停在该应用模板区域，然后单击 部署。

4. 在 部署应用 页面，配置 leader-worker-set 服务参数。其中，部分参数按如下说明配置，其余参数根据界面提示或参考 应用模板 中的说明配置。

   配置项	说明
   基本信息
   项目	选择需要部署应用的项目，确保与 VKE 集群所属项目相同。
   集群	选择 前提条件 中创建的 VKE 集群。
   命名空间	自定义选择目标集群下的命名空间。
   编排模板
   Chart	选择 leader-worker-set 的 Chart 版本，建议选择最新版本。
   协议	阅读了解协议内容后勾选协议。

5. 单击 确定，部署完成应用。
   应用部署完成后会显示在 Helm 应用 页面。选择目标项目、集群、命名空间，找到已基于 leader-worker-set 模板部署的应用，单击应用名称，进入详情页面查看该应用的基本信息、关联创建的工作负载、服务、其他资源等。

步骤三：部署 deepseek-r1-sglang

容器服务基于 SGLang 框架提供 PD（Prefill-Decode）分离的 DeepSeek-R1 模型应用，可通过 应用模版 快速部署。

1. 在 容器服务控制台 左侧导航栏，选择 应用中心 > 应用模板。

2. 在 应用模板 页面，找到 deepseek-r1-sglang 应用模板，鼠标悬停在该应用模板区域，然后单击 部署。

3. 在 部署应用 页面，配置 deepseek-r1-sglang 服务参数。其中，部分参数按如下说明配置，其余参数根据界面提示或参考 应用模板 中的说明配置。

   配置项	说明
   基本信息
   项目	选择需要部署应用的项目，确保与 VKE 集群所属项目相同。
   集群	选择 前提条件 中创建的 VKE 集群。
   命名空间	自定义选择目标集群下的命名空间。
   编排模板
   Chart	选择 deepseek-r1-sglang 的 Chart 版本，建议选择最新版本。
   参数配置	选择 deepseek-r1-sglang 的配置方法。如需启用弹性极速缓存 EIC，单击编辑图标，编辑values.yaml文件，并新增如表格下方所示的 EIC 相关参数 YAML 内容。
   协议	阅读了解协议内容后勾选协议。

   EIC 相关参数 YAML 内容：

   eic:
     enabled: true
     # EIC 实例 ID。登录弹性极速缓存控制台，进入实例详情页面的“实例信息”页签查看。
     instanceID: "eicydx97nk******" 
     # EIC 实例的 Endpoint。登录弹性极速缓存控制台，进入实例详情页面的“实例信息”页签查看。
     remoteURL: "eic://192.168.xx.xx:12500;192.168.xx.xx:12500;192.168.xx.xx:12500"
     # EIC 节点网卡。登录弹性极速缓存控制台，进入实例详情页面的“节点列表”页签查看。
     netLocalInterfaceNames: "eth1;eth2;eht3;eth4;eth5;eth6;eht7;eth8"
     # 部署 EIC 的节点所对应的 VKE 节点池 ID。登录容器服务控制台，进入目标集群管理页面中“节点管理 > 节点池”页面查看。
     machinePool: "pd0ve352******"
   

4. 单击 确定，部署完成应用。
   应用部署完成后会显示在 Helm 应用 页面。选择目标项目、集群、命名空间，找到已部署的 deepseek-r1-sglang 应用，单击名称，进入详情页面查看该应用的基本信息、关联创建的工作负载、服务、其他资源等。

5. 在 VKE 集群的 有状态负载 页面，查看 deepseek-r1-sglang 应用对应的负载状态。

   1. 在 容器服务控制台 左侧导航栏，选择 集群，找到目标集群并单击集群名称。
   2. 在目标集群管理页面选择 工作负载 > 有状态负载，然后搜索 deepseek-r1-sglang 应用对应的名称，查看相关负载的状态。
      

步骤四：配置路由

通过 APIG Ingress 配置模型路由。APIG Ingress 基于火山引擎 API 网关（API Gateway，APIG） 提供托管的云原生网关功能，实现高可用、高扩展的 Ingress 流量管理方式，满足在云原生应用场景下对业务流量稳定性和高可用性的需求。

1. 在集群管理页面的左侧导航栏中，选择 服务与路由 > 路由规则，单击 创建路由规则。使用 API 网关对外暴露集群内的模型服务。部分参数按如下说明配置，其余配置详情，请参见 通过控制台创建 APIG Ingress。

   说明

   使用 API 网关（APIG）暴露集群中的模型服务时，配置建议如下：

   • 实例规格：建议选择 4c8g 规格，默认双可用区高可用。
   • 负载均衡算法：建议配置为 轮询。在后端负载近似均衡的前提下，更适用于后端升级变更的场景。
   • 熔断： 当某些 GPU 实例出现异常时，一般会希望尽快将故障实例下线，避免故障持续。同时希望能够保留故障现场为后续进一步排查提供依据。 可以通过配置网关的熔断规则，将出现故障的实例进行隔离。
   • 请求超时：API 网关默认不超时，建议保持默认。如有超时需求，支持在 API 网关控制台 中配置超时，详情请参见 高级路由策略。
   • 带宽上限：VKE 控制台上的配置项为 API 网关下 CLB 负载均衡的带宽，如需更大带宽，可以在 API 网关控制台 中绑定自定义 CLB 实例，详情请参见 添加访问入口。
   • 可观测性：在 VKE 控制台上创建的 API 网关实例，默认情况下未开启监控告警和日志功能。如有需要，建议您在 API 网关控制台 中开启对应实例的日志和监控告警能力。
     • 实例监控：能够帮助您从入口网关层面及时发现整个系统链路上的非预期现象。例如：后端不健康、后端 Crash 等，在 API 网关会报503错误码，以及具体的错误详情。
     • 实例日志：从访问日志里能够查看请求错误详情、请求耗时、请求在后端各个 Pod 的分布等详情。
2. （可选）配置 API 网关认证鉴权。
   1. 登录 API 网关控制台。
   2. 创建消费者：在左侧导航栏选择 消费者管理 > 消费者列表，单击 创建消费者。
   3. 生成 API-KEY ：在消费者列表中，单击目标消费者名称，进入消费者详情页面。在认证信息区域，单击 生成 API Key。
      
      在弹出的对话框内容选择 自动创建 API Key 认证信息。
      
      单击 确定，生成 API Key 认证信息。
      
   4. 启用 Key Auth 插件：在左侧导航栏选择 插件管理 > Key Auth插件，单击 创建插件，配置插件参数。
      1. 生效级别：选择 路由级别，并配置插件所属实例、服务和路由。
      2. 认证配置：选择 header，并配置来源为 Authorization，表示在请求头中的 Authorization 附带 API Key 认证信息。
      3. 消费者：选择步骤一种创建的消费者。
      4. 其他配置保持缺省。

步骤五：开启观测配置

基础观测提供 AI 资源及推理服务的监控指标，深度观测提供推理应用的全链路性能监控服务。

基础观测

1. 在集群管理页面的左侧导航栏中，选择 云原生观测 > 概览，单击 立即启用，开启云原生观测和容器服务观测。更多配置详情，请参见 开启观测、容器服务观测。
2. 在左侧菜单栏中选择 工作负载> 对象浏览器。 单击 使用 Yaml 创建 ，通过 ServiceMonitor 配置服务发现。
   1. 在 类型 下拉菜单中选择 自定义。
   2. 在 Yaml 配置框内输入 Yaml 配置。

      apiVersion: monitoring.coreos.com/v1
      kind: ServiceMonitor
      metadata:
        name: sglang-api-svc-discover # 配置采集规则名称
        namespace: default # 配置 ServiceMonitor 命名空间
        labels: 
          volcengine.vmp: "true" # 配置 ServiceMonitor 的标签，允许被 Prometheus-agent 发现
      spec:
        endpoints:
        - port: http # 填写服务端口名称
        namespaceSelector:
          matchNames:
          - default # 配置为服务所在的命名空间
        selector:
          matchLabels:
            app: sglang # 配置服务的 Label 值，以定位和选择目标 Service
      

      配置完成后，SGLang 的应用指标会被采集到托管 Prometheus（VMP）服务，您可以在托管 Prometheus 控制台中使用 Explore 查询指标，示例如下：
      
   3. 您可以使用 VMP 预置面板查看 SGLang 应用监控，在 VMP 服务控制台，选择 监控看板，搜索sglang，可查看到如下示例所示的 SGLang 应用看板：
      
3. 您也可以自建 Grafana，并搭建 sglang 的监控看版。操作方式请参见 在容器服务集群中部署 Grafana 并接入工作区。

   • 登录上述 Grafana ，选择导入如下看版 JSON 文件：
     

     

     SGLang Dashboard-1747206543364.json

     24.38KB

     

   • 导入后效果如图所示：