API 网关支持为部署在容器服务集群中的 AI 大模型，提供快速创建 AI 网关功能。本文介绍如何为部署在集群中的 AI 大模型创建 AI 网关。 :::tip **【邀测·申请试用】** ：该功能目前处于邀测阶段，如需使用，请联系您的客户经理。 ::: ## 背景信息当您的 AI 大模型部署在容器服务集群中时，可以使用 AI 网关服务为 AI 大模型快速创建网关。系统会基于您的配置，自动创建服务、路由和 Upstream，实现了 AI 网关的一站式配置流程。在 AI 网关服务中，每个路由对应一个后端模型。典型应用场景，如下图所示。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_5550a2b0db910d02e08e2bc65382dc2e.png =946x) ## 前提条件 * 容器服务 * 已创建容器服务集群，并完成 AI 大模型和服务的部署。详情可参见 [AI 云原生推理套件](https://www.volcengine.com/docs/6460/1584330)。 * API 网关 * 已创建 API 网关实例，详情请参见 [创建实例](https://www.volcengine.com/docs/6569/85693)。 * 已将目标集群添加为 Upstream 来源，详情请参见 [导入容器集群](https://www.volcengine.com/docs/6569/133830)。 * （可选）已创建服务，并绑定自定义域名。详情请参见 [创建服务](https://www.volcengine.com/docs/6569/85695)、[绑定自定义域名](https://www.volcengine.com/docs/6569/148261)。 ## 操作步骤 1. 登录 [API 网关控制台](https://console.volcengine.com/veapig)。 2. 在顶部导航栏，选择目标地域。 3. 在左侧导航栏选择 **AI 网关服务**，单击创建 **AI 网关服务**。 * **基本信息** ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_4e71707b1e870fbf4b8657998803a76e.png =929x) |配置项 |说明 | |---|---| |所属实例 |在下拉菜单中选择 AI 网关所属的 API 网关实例。 | |访问域名 |配置 AI 网关使用的域名，包括：|\ | ||\ | |* **使用已有**：使用已创建服务的域名。当您选择该选项时，需要在弹出的下拉菜单中选择已创建的服务。|\ | |* **新建域名**：新建一个新域名。当您选择该选项时，系统会自动生成一个新域名，新域名的名称为`ai-service-xxxx`，其中，`xxxx`为随机字符串。 | |AI 服务名称 |配置 AI 服务的名称，系统会使用该名称创建对应的路由。 | |访问路径 |配置 AI 服务的访问路径，当前暂不支持配置，默认与 AI 服务器名称一致。例如当配置 AI 服务名称为`seed`时，配置完成后生成的大模型访问路径格式为 `域名/seed`。 | * **后端服务** ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6e1f57828cff21fc37141661f5196ce6.png =923x) |配置项 |说明 | |---|---| |后端服务 |选择 Upstream 对接的后端服务类型，默认为 **AI 模型代理**，暂不支持配置。 | |模型类型 |在下拉菜单中选择需要代理的大语言模型类型，默认为 **火山自部署**，暂不支持配置。|\ | |API 网关会自动聚合 Upstream 来源中所有集群下同名的命名空间、服务及端口，将其看作一个应用。|\ | ||\ | |* **命名空间**：选择目标 Kubernetes 服务所在的命名空间。|\ | |* **服务名称**：选择目标 Kubernetes 服务名称。|\ | |* **端口**：选择目标 Kubernetes 服务开放的端口。|\ | |* **BaseUrl**：配置后端模型对应的 URL 地址，对应 OpenAI 格式 SDK 中的 base_url。例如`/v1`。 | |协议 |选择协议类型，支持 **HTTP1.1**、**HTTP2** 和 **HTTP2/GRPC**。 | |负载均衡算法 |配置负载均衡算法。|\ | ||\ | |* **轮询**：（默认）将所有请求依次分发到 Kubernetes 服务关联的各个 Pod，适合 Pod 规格相同的场景。|\ | |* **随机**：请求随机分配到各个 Pod。|\ | |* **最小连接数**：将请求分配到目前处理请求数最少的 Pod。|\ | |* **一致性哈希**：基于 header/querystring 信息进行负载均衡，在后端服务数量不变的情况下，确保携带信息相同的用户可固定访问同一 Pod。 | 4. 单击 **确定**，完成配置。 ## 其他配置 ### 获取访问地址在服务列表中选择目标服务，单击 **操作** 列的访问方式，即可获得该 AI 网关服务的访问地址，包括 **公网默认域名** 和 **自定义域名**。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3dedcb73b52eafd44611490f7faef54f.png =837x) ### 开启认证鉴权 1. AI 网关服务创建完成后，在服务列表中选择目标服务，单击服务名称，进入服务详情页面。 2. 开启认证鉴权功能，并在弹出的配置页面中，使用 Key Auth 插件配置 API Key 认证鉴权。更多配置详情，请参见 [API Key 认证鉴权](https://www.volcengine.com/docs/6569/1515836)。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_187de0583828b26d3ce616635e9147ba.png =926x) ## 结果验证 ### 查看配置 1. AI 网关服务创建完成后，允许在服务列表中查看对应的服务。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_2a6de96211f9bbfbb91b8014a2376f02.png =930x) AI 网关服务支持以下运维操作： * 单击 **操作** 列的 **编辑**，支持编辑指定的 AI 网关服务。 * 单击 **操作** 列的 **删除**，支持删除指定的 AI 网关服务。 2. 创建 AI 网关服务时，系统会同步创建对应的服务、路由和 Upstream。 * 在左侧导航栏选择 **路由管理 \> 服务列表（域名）** ，支持查看系统同步创建的服务。仅当创建 AI 网关服务，并选择 **新建域名** 时，才会同步创建服务并绑定新域名。 * 在左侧导航栏选择 **路由管理 \> 路由列表**，支持查看系统同步创建的路由。 * 在左侧导航栏选择 **后端管理 \> Upstream 列表**，支持查看同步创建的 Upstream。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e71c3ecbb2d2bb5d0447bf5f7df20bb7.png =940x) ### 访问验证在本地环境中，使用 AI 网关服务的域名，能够正常调用大模型并获取应答。 ```bash curl apig-example.com/seed/ -X POST \ -H "Content-Type: application/json" \ -H "Authorization: Bearer eyJhbGciOiJSUzI******" \ -d '{ "model": "seed_oss", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Who won the world series in 2020?"} ] }' ``` ## 相关文档 * 除了部署在容器服务集群中的 AI 大模型，如果您想使用 AI 网关代理其他部署方式的大模型，可以直接使用 AI 多模型代理功能。详情请参见 [AI 多模型代理](https://www.volcengine.com/docs/6569/1392484)。 * 在火山引擎容器服务中部署 AI 大模型的方法，请参见 [AI 云原生推理套件](https://www.volcengine.com/docs/6460/1584330)。