本文以在ecs.pni3l.11xlarge实例规格中部署Qwen3\-32B为例，介绍如何在GPU云服务器上部署、运行Qwen3模型。 ## Qwen3 Qwen3是Qwen系列新一代的大语言模型，它包含了一系列全尺寸稠密与混合专家（MoE）模型。基于大规模的广泛训练，Qwen3在数学、代码生成和常识逻辑推理能力上，相较于先前发布的QwQ以及Qwen2.5模型均有显著提升。Qwen3还支持思考模式和非思考模式的无缝切换，简单问题快速解答节省资源，复杂问题深入思考给出更优解，确保其在各个场景下均能获得最佳性能。此外，Qwen3还扩展了对多种语言和方言的支持，具有强大的多语言理解、推理、指令跟随和生成能力。[了解更多](https://qwenlm.github.io/blog/qwen3/)。 ## 软件要求 * NVIDIA驱动： GPU驱动：用来驱动NVIDIA GPU的程序，本文以535.161.08为例。 * 运行环境： SGLang：SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架，本文以v0.5.2版本为例。 ## 操作步骤 ### 步骤一：准备环境 1. 创建GPU计算型实例。请根据[通过向导购买实例](https://www.volcengine.com/docs/6396/67743)指引，创建一台符合如下条件的实例： |配置项 |推荐配置 | |---|---| |**基础配置** || |计算规格 |ecs.pni3l.11xlarge|\ | |:::tip|\ | ||\ | |* 若您期望部署不同参数规模的Qwen3模型，可参考如下推荐选用实例：|\ | | * Qwen3\-8B：推荐选用ecs.gni3cg.5xlarge、ecs.gni3cl.5xlarge规格。|\ | | * Qwen3\-14B：推荐选用ecs.gni3cg.5xlarge、ecs.gni3cl.5xlarge、ecs.pni3l.5xlarge规格。|\ | | * Qwen3\-32B：推荐选用ecs.pni3l.11xlarge规格。|\ | | * Qwen3\-30B\-A3B：推荐选用ecs.pni3l.11xlarge规格。|\ | | * Qwen3\-Next\-80B\-A3B\-Instruct：推荐选用ecs.hpcpni3ln.45xlarge规格。|\ | | * Qwen3\-Next\-80B\-A3B\-Thinking：推荐选用ecs.hpcpni3ln.45xlarge规格。|\ | | * Qwen3\-235B\-A22B：推荐选用ecs.hpcpni3ln.45xlarge、ecs.ebmhpcpni2l.32xlarge规格。|\ | | * Qwen3\-235B\-A22B\-Instruct\-2507：推荐选用ecs.hpcpni3ln.45xlarge、ecs.ebmhpcpni2l.32xlarge规格。|\ | | * Qwen3\-235B\-A22B\-Instruct\-2507\-FP8：推荐选用ecs.hpcpni3ln.45xlarge、ecs.ebmhpcpni2l.32xlarge规格。|\ | |* ecs.gni3cg、ecs.gni3cl、ecs.pni3l、ecs.hpcpni3ln、ecs.ebmhpcpni2l规格实例正在邀测中，如需试用，请[提交工单](https://console.volcengine.com/workorder/create)或联系客户经理申请。|\ | ||\ | |:::| |镜像 |Ubuntu 22.04 with GPU Driver 535.161.08 and doca|\ | |:::tip|\ | |若您选用其他发行版本的镜像，需在创建实例后自行[安装GPU驱动](https://www.volcengine.com/docs/6419/68597)。|\ | ||\ | |:::| |存储 |* 规格：吞吐型SSD TL0云盘|\ | |* 容量：不低于 200 GiB|\ | ||\ | |:::tip|\ | |本文使用的Qwen3\-32B模型参数量为32B，您可以根据实际部署的模型参数量级调整云盘容量。推荐配置如下：|\ | ||\ | |* Qwen3\-8B、Qwen3\-14B：不低于 100 GiB|\ | |* Qwen3\-32B、Qwen3\-30B\-A3B：不低于 200 GiB|\ | |* Qwen3\-Next\-80B\-A3B：不低于 400 GiB|\ | |* Qwen3\-235B\-A22B：不低于 700 GiB|\ | ||\ | |:::| |**网络配置** || |弹性公网IP |勾选“分配弹性公网IP”。 | 2. [登录目标实例](https://www.volcengine.com/docs/6396/67747)。 1. 执行如下命令，安装、配置Docker。 ```Plain Text sudo apt update sudo apt install ca-certificates curl gnupg lsb-release sudo mkdir -p /etc/apt/keyrings curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y ``` 2. 执行如下命令，安装NVIDIA Container Toolkit。 ```Plain Text curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add - cat </etc/apt/sources.list.d/nvidia.list deb http://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ / EOF apt update apt install nvidia-container-toolkit -y ``` 3. 执行如下命令配置Docker，使容器可以使用实例的GPU资源。 ```Plain Text sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker ``` 3. 执行如下命令，创建存储模型的目录。 ```Plain Text mkdir /data00 ``` :::tip 本文以创建`/data00`目录为例，请按需调整。 ::: 4. **（可选）** 初始化本地盘。若您选用的实例规格搭配有本地盘，建议您执行如下命令将本地盘挂载到存储模型的目录“/data00”，提升模型加载速度。 ```Plain Text mkfs -t ext4 /dev/nvme0n1 mount -t ext4 /dev/nvme0n1 /data00 ``` :::tip * 请将`/dev/nvme0n1`替换为实际本地盘名称。 * 请将`ext4`替换为您期望使用的文件系统。 ::: ### 步骤二：部署、运行模型 1. [登录目标实例](https://www.volcengine.com/docs/6396/67747)。 2. 下载模型文件。 1. 执行如下命令，安装配置onion。 ```Plain Text curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu jammy main" > /etc/apt/sources.list.d/volctools.list && apt update && apt install -y onion-ai-data ``` 2. 执行如下命令，进入存放模型的目录。 ```Plain Text cd /data00 ``` :::tip 建议您选择容量较大的磁盘目录存放模型文件，本文以`/data00`为例，请将其替换为实际目录路径。 ::: 3. 请根据实例所在地域，执行如下命令设置环境变量。 ```mixin-react return ( ); ``` 4. 执行如下命令，通过onion工具下载Qwen3\-32B模型。 ```Plain Text oniond download model Qwen3-32B ``` :::tip * 本文以下载Qwen3\-32B模型为例，请按需将`Qwen3-32B`替换为目标Qwen3模型名称。支持：`Qwen3-8B`、`Qwen3-14B`、`Qwen3-32B`、`Qwen3-30B-A3B`、`Qwen3-Next-80B-A3B-Instruct`、`Qwen3-Next-80B-A3B-Thinking`、`Qwen3-235B-A22B`、`Qwen3-235B-A22B-Instruct-2507`、`Qwen3-235B-A22B-Instruct-2507-FP8`。 * 您也可以执行`oniond list model`命令，查看支持模型列表。 ::: 3. 请根据实例所在地域，执行如下命令下载Docker镜像。 ```mixin-react return ( ); ``` 4. 请根据实例所在地域，执行如下命令，启动Docker容器。 ```mixin-react return ( ); ``` :::warning 请将`/data00`替换为模型实际存放目录路径。 ::: 5. 执行如下命令，通过Docker日志确认容器及模型是否成功启动。 1. 查看容器ID。 ```Plain Text docker ps ``` 2. 查看对应容器的运行日志。 ```Plain Text docker logs ``` :::tip 请将``替换为实际容器ID。 ::: 6. 启动模型服务。 1. 执行如下命令，进入Docker容器。 ```Plain Text docker exec -it bash ``` :::tip 请将``替换为实际容器ID。 ::: 2. 执行如下命令，进入Python目录。 ```Plain Text cd sglang/python/ ``` 3. 执行如下命令，启动Qwen3\-32B模型服务。 ```Plain Text NCCL_MIN_NCHANNELS=24 NCCL_IB_QPS_PER_CONNECTION=8 SGLANG_USE_MODELSCOPE=1 python3 -m sglang.launch_server --model-path /data/Qwen3-32B/ --tensor-parallel-size 2 --reasoning-parser qwen3 ``` **参数说明：** 如上命令以部署、启动Qwen3\-32B模型为例，如需部署、启动其他模型，可根据如下说明替换对应环境变量和参数值。 |参数名 |说明 |取值样例 | |---|---|---| |NCCL_MIN_NCHANNELS |NCCL在多GPU通信时使用的最小通道数，默认值`24`。 |24 | |NCCL_IB_QPS_PER_CONNECTION |NCCL在IB网络中每个连接的每秒请求数，默认值`8`。 |8 | |SGLANG_USE_MODELSCOPE |控制是否启用基于ModelScope的模型加载或服务功能。取值：|1 |\ | || |\ | |* 1：默认值，启用。| |\ | |* 0：不启用。 | | |model\-path |容器内模型存储路径。 |/data/Qwen3\-32B/ | |tensor\-parallel\-size |Tensor Parallelism并行度，默认值`8`。|2 |\ | |:::tip| |\ | |建议您配置为`2`。| |\ | || |\ | |:::| | ### 步骤三：调用模型 1. [登录运行模型服务的目标实例](https://www.volcengine.com/docs/6396/67747)。 2. 执行如下命令调用模型，确保部署的模型可以正常进行推理。 ```Plain Text curl -X POST http://0.0.0.0:30000/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "/data/Qwen3-32B", "messages": [ { "role": "user", "content": "请证明一下黎曼猜想" } ], "max_tokens": 100, "temperature": 0.7 }' ``` **参数说明：** 本文仅说明验证使用到的参数信息，更多参数详情可查看[Qwen3官方文档](https://qwenlm.github.io/blog/qwen3/)。 |参数名 |说明 |取值样例 | |---|---|---| |model |使用的模型名称。 |/data/Qwen3\-32B | |messages |对话的消息列表。|\- |\ | || |\ | |* role：该消息的发起角色。| |\ | |* content：消息的内容。 | | |max_tokens |指定一次请求中模型生成Completion的最大Token数。取值：|100 |\ | || |\ | |* 介于`1`到`8192` 间的整数。| |\ | |* 默认值为`4096`。 | | |temperature |采样温度，值越高（例如1）会使输出更随机，而值越低（例如0.2）会使其更加集中和确定。取值介于`0`和`2`之间。 |0.7 |