LLM 负载感知路由支持基于模型推理场景，根据 LLM 后端 GPU 的负载情况（例如：排队请求数、KV\-Cache 使用率等）提供更符合推理场景的负载均衡能力。本文介绍如何配置 LLM 负载感知路由。 ## 背景信息在传统的流量网关或负载均衡中，系统常常会使用负载均衡算法（例如：轮询、随机、最小连接/请求、一致性哈希等）将入口流量转发到不同的后端实例。但是，在 AI 大语言模型领域，由于用户请求、模型差异以及 Prompt 生成响应的随机性，导致单个请求所占用的资源量（GPU 等）不确定。而传统负载均衡算法无法实时感知后端实例的负载状态变化，可能导致后段负载不均衡，影响整个系统的吞吐量和响应时延。因此，在 AI 模型推理场景中，需要能够根据后端 GPU 的负载情况，包括 GPU KV\-Cache 的使用率、排队请求数等，将请求调度到负载最低的实例，保证后端推理实例尽可能均匀处理请求，避免 GPU 请求不均的问题。 ## 前提条件 * 已创建网关实例，详情请参见 [创建实例](https://www.volcengine.com/docs/6569/85693)。 * 已将网关实例升级至 3.3.0 及以上版本，详情请参见 [版本管理](https://www.volcengine.com/docs/6569/1657695)。 * 已创建服务，详情请参见 [创建服务](https://www.volcengine.com/docs/6569/85695#.5Yib5bu65pyN5Yqh)。 * 已创建路由，详情请参见 [创建路由](https://www.volcengine.com/docs/6569/179038)。 ## 使用限制 * 同一插件在同一资源上只能绑定一次。 * 在同一路由中，LLM 负载感知路由插件、LLM Session 亲和路由插件和 MCP 会话保持插件互斥，不能同时开启。 ## 操作步骤 1. 登录 [API 网关控制台](https://console.volcengine.com/veapig)。 2. 在左侧导航栏选择 **插件管理 \> ** **LLM 负载感知路由插件**，单击 **创建插件**，配置插件参数。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_b2f50a95a81d56e8e761dc89e2dab4f1.png =720x) |配置项 |说明 | |---|---| |生效级别 |选择 LLM 负载感知路由插件的生效级别，当前仅支持 **路由级别**。 | |所属实例 |在下拉菜单中选择插件所属 APIG 网关实例。 | |所属服务 |在下拉菜单中选择插件选择所属服务。 | |所属路由 |在下拉菜单中选择插件选择所属路由。 | |备注 |您可以根据业务需要选择是否编辑备注内容，例如插件用途等，便于后期识别。 | |推理引擎 |选择 LLM 使用的推理引擎，包括 **vllm、sglang ** 和 ** others**。|\ | ||\ | |* **指标接口**：配置推理引擎指标暴露的 URI 路径，例如`/metrics`。|\ | |* **指标端口**：配置推理引擎指标暴露的端口号，例如`8000`。|\ | |* **指标名称**：配置进行负载感知的指标，API 网关会基于该指标选择最优的后端实例。例如`vllm:num_requests_waiting`。 | |最小负载差值 |配置基于负载调度指标的最小差值。 | 3. 单击 **确定**，完成配置。 ## 查看配置配置完成后，在插件列表中，查看已配置的插件，若插件状态为 **已启用**，表示插件已生效。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_7e5880e2a7081ea3791ea78aa51cce0e.png =923x)