LLM 会话保持 ID 生成插件根据请求中 Prompt 生成会话保持 ID，结合一致性 Hash 策略实现会话保持。本文介绍如何创建 LLM 会话保持 ID 生成插件。 ## 背景信息 LLM 会话保持 ID 生成插件是为了在大模型会话中实现会话保持，将具有相同 Prompt Message 段的请求分发到同一个推理引擎实例，复用会话缓存信息，减小会话生成的时长，提升用户体验。 ## 前提条件 * 已创建网关实例，详情请参见 [创建实例](https://www.volcengine.com/docs/6569/85693)。 * 已创建服务，详情请参见 [创建服务](https://www.volcengine.com/docs/6569/85695#.5Yib5bu65pyN5Yqh)。 * 已创建路由，详情请参见 [创建路由](https://www.volcengine.com/docs/6569/179038)。 * 已创建 Upstream，并使用一致性哈希负载均衡算法，基于 Header 进行负载均衡，Header 为 X\-Digest\-Session\-ID。操作详情参见 [Upstream 管理](https://www.volcengine.com/docs/6569/163236)。 ## 使用限制 * 同一路由中，LLM 会话保持 ID 生成插件与 LLM 负载感知路由插件、LLM Session 亲和路由插件和 MCP 会话保持插件互斥。 * 同一插件在同一资源上只能绑定一次。 ## 操作步骤 1. 登录 [API 网关控制台](https://console.volcengine.com/veapig)。 2. 在 **实例管理** 选择目标实例。 3. 在左侧导航栏单击 **插件中心 ** \> ** LLM 会话保持 ID 生成插件** \> **创建插件**。 4. 配置插件规则。 |配置项 |说明 | |---|---| |所属服务 |选择插件所属服务。 | |所属路由 |选择插件所属路由。 | |生成方式 |当前仅支持 **根据 Prompt 内容生成**。 | |生成来源 |选择会话中某一段或多段内容生成 Session ID。单击 **查看示例**，查看 Message 中内容的命名方式。 | 4. 单击 **确定**，完成配置。 ##