本文为您介绍 API 网关的典型应用场景。 ## 基于 GPU 负载的智能路由根据自定义指标，综合判断 GPU 实际负载情况，将请求调度到最优实例，提升整体利用率。 * 支持流式处理能力，减少内存占用。 * 动态调度 GPU 资源。 * 基于 Token 的治理功能。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_08d811baee80e0942afc0708f47a22c5.png =675x) ## 大模型 Token 用量限制基于 API\-Key 的身份体系认证和监控能力，准确识别消费者身份并进行智能限流。 * 兼容 OpenAI 的 API\-Key 认证。 * 监控不同 API\-Key 的 Token 使用。 * 不同消费者的 Token 用量分配。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_b236bc602c3eaee0d39b1d16ab02fb16.png =672x) ## 多模型管理 AI 网关支持对接常见的大语言模型服务和用户自建推理服务，为大语言模型提供统一的访问入口。 * 屏蔽不同模型调用差异、简化调用。 * 不同模型间 Fallback 、增强稳定性。 * 模型不同版本通过流量镜像灰度测试。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_0589fc90f74323d66fb22f1fb65a039b.png =681x) ## 多集群管理& Ingress 配置同步同时具备南北向和东西向流量管控能力，帮助业务集中化管理 API，减少转发次数和系统复杂度。 * 支持多集群管理，灵活部署。 * 统一流量入口，简化运维管理。 * 兼容业界 ingress 标准，监听资源自动同步。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6c6bcae4ec27f7323a2d36df15648719.png =688x)