产品优势
应用场景
产品功能
产品架构
使用流程
使用指南
产品优势
立即咨询
灵活高效
高性能 AI 插件
支持 C++/Lua/Golang 等多种语言开发插件，满足 AI 应用快速上量、高速迭代及高性能服务。
卓越性能
AI 智能路由
针对 LLM 和多模态模型提供更符合推理场景的负载能力，采用智能的路由决策调度机制。
安全可控
企业级权限
提供基于身份体系的 Token 限流机制，管理 AI 服务中不同用户的身份认证及使用额度，协调 AI 服务调用的资源分配。
生态兼容
拥抱云原生
不仅支持无缝对接函数服务，而且能够自动发现 Kubernetes 集群、微服务注册中心的后端服务，全面拥抱云原生与微服务架构。
应用场景
基于 GPU 负载的智能路由
基于消费者的全局 Token 限流
多集群管理& Ingress 配置同步
API 全生命周期管理
提供 API 全生命周期托管服务，包括 API 的创建、维护、发布、监控等功能，帮助开发者快速构建以 API 为核心的系统架构。
AI 智能路由
根据后端 GPU 的负载情况，如 GPU KV-Cache 的使用率、排队请求数等，将请求调度到负载最低的实例，保证后端推理实例尽可能均匀处理请求。
精确的流量管控
支持根据 Method/Path/Query String 路由、URL 重写、按流量比例灰度发布等功能，对流量进行精确管控和路由。
灵活的后端配置
具有相同功能的后端应用可抽象为一个 Upstream，实现路由和后端应用解耦，满足后端应用的多版本管理等需求。
精细的服务治理
提供熔断、限流、重试及超时控制等服务治理功能，助力业务顺利应对流量洪峰。
热更新插件配置
插件提供丰富的产品能力，强化网关可拓展性；通过插件可以快速生效网关配置，不影响线上流量。
强大的安全防护
支持 HTTPS 协议、IP 黑白名单、多种认证鉴权方式，集成 WAF 网关，多方位保护 API 调用的安全。
多方位监控
提供网关/服务维度的指标监控能力，支持统计 QPS、响应时间、返回码等性能指标，随时掌握网关的健康状态。
API 全生命周期管理
提供 API 全生命周期托管服务，包括 API 的创建、维护、发布、监控等功能，帮助开发者快速构建以 API 为核心的系统架构。
AI 智能路由
根据后端 GPU 的负载情况，如 GPU KV-Cache 的使用率、排队请求数等，将请求调度到负载最低的实例，保证后端推理实例尽可能均匀处理请求。
精确的流量管控
支持根据 Method/Path/Query String 路由、URL 重写、按流量比例灰度发布等功能，对流量进行精确管控和路由。
灵活的后端配置
具有相同功能的后端应用可抽象为一个 Upstream，实现路由和后端应用解耦，满足后端应用的多版本管理等需求。
精细的服务治理
提供熔断、限流、重试及超时控制等服务治理功能，助力业务顺利应对流量洪峰。
热更新插件配置
插件提供丰富的产品能力，强化网关可拓展性；通过插件可以快速生效网关配置，不影响线上流量。
强大的安全防护
支持 HTTPS 协议、IP 黑白名单、多种认证鉴权方式，集成 WAF 网关，多方位保护 API 调用的安全。
多方位监控
提供网关/服务维度的指标监控能力，支持统计 QPS、响应时间、返回码等性能指标，随时掌握网关的健康状态。
01
创建实例
创建资源相互隔离的网关实例。
02
创建服务
服务是路由对外暴露的入口。
03
创建上游服务
将相同的后端服务抽象为一个 Upstream。
04
创建路由
将请求转发到一个或多个 Upstream。
05
监控与运维
监控网关实例和服务的性能是否符合预期。