产品优势
应用场景
产品功能
产品架构
使用流程
使用指南
产品优势
立即咨询
灵活高效
高性能 AI 插件
支持 C++/Lua/Golang 等多种语言开发插件，满足 AI 应用快速上量、高速迭代及高性能服务。
卓越性能
AI 智能路由
针对 LLM 和多模态模型提供更符合推理场景的负载能力，采用智能的路由决策调度机制。
安全可控
企业级权限
提供基于身份体系的 Token 限流机制，管理 AI 服务中不同用户的身份认证及使用额度，协调 AI 服务调用的资源分配。
生态兼容
拥抱 MCP
全面支持 MCP SSE 有状态协议和认证鉴权，同时能够自动 REST API 转化为 MCP Server，让在线业务能够快速享受 MCP 的红利。
应用场景
基于 GPU 负载的智能路由
大模型 Token 用量限制
多模型管理
多集群管理& Ingress 配置同步
.png)
模型安全认证
支持 HTTPS 协议、IP 黑白名单、API-KEY 等多种认证鉴权方式，多方位保护 API 调用的安全，避免恶意用户访问。
AI 智能路由
根据后端 GPU 负载情况，如排队请求数等，将请求调度到负载最低的实例，保证后端推理实例尽可能均匀处理请求。
Token 监控
监控不同部门&团队的
Token 使用，帮助用户有效跟踪模型使用情况，例如了解哪些项目或者消耗的 Token 最多。
Token 用量控制
基于对大模型使用的 Token 数量的监控，对模型整体调用 Token 或不同的部门Token 的用量进行配额现在，有效管理模型资源使用。
精确的流量管控
支持根据 Method/Path/Query String 路由、URL 重写、按流量比例灰度发布等功能，对流量进行精确管控和路由。
灵活的后端配置
具有相同功能的后端应用可抽象为一个 Upstream，实现路由和后端应用解耦，满足后端应用的多版本管理等需求。
热更新插件配置
插件提供丰富的产品能力，强化网关可拓展性；通过插件可以快速生效网关配置，不影响线上流量。
MCP 协议支持
Remote MCP Server 提供请求代理、安全认证、动态注册发现、会话保持等能力。
模型安全认证
支持 HTTPS 协议、IP 黑白名单、API-KEY 等多种认证鉴权方式，多方位保护 API 调用的安全，避免恶意用户访问。
AI 智能路由
根据后端 GPU 负载情况，如排队请求数等，将请求调度到负载最低的实例，保证后端推理实例尽可能均匀处理请求。
Token 监控
监控不同部门&团队的
Token 使用，帮助用户有效跟踪模型使用情况，例如了解哪些项目或者消耗的 Token 最多。
Token 用量控制
基于对大模型使用的 Token 数量的监控，对模型整体调用 Token 或不同的部门Token 的用量进行配额现在，有效管理模型资源使用。
精确的流量管控
支持根据 Method/Path/Query String 路由、URL 重写、按流量比例灰度发布等功能，对流量进行精确管控和路由。
灵活的后端配置
具有相同功能的后端应用可抽象为一个 Upstream，实现路由和后端应用解耦，满足后端应用的多版本管理等需求。
热更新插件配置
插件提供丰富的产品能力，强化网关可拓展性；通过插件可以快速生效网关配置，不影响线上流量。
MCP 协议支持
Remote MCP Server 提供请求代理、安全认证、动态注册发现、会话保持等能力。
.png)
01
创建实例
创建资源相互隔离的网关实例。
02
创建服务
服务是路由对外暴露的入口。
03
创建上游服务
将相同的后端服务抽象为一个 Upstream。
04
创建路由
将请求转发到一个或多个 Upstream。
05
监控与运维
监控网关实例和服务的性能是否符合预期。