边缘大模型网关（AI Gateway）允许您通过一个 API 接口访问多家大模型提供商的模型与智能体。边缘大模型网关部署在遍布全球的边缘计算节点上，使端侧应用能够就近接入，显著提高模型访问速度；内置语义缓存机制，减少模型调用请求的回源次数，为终端用户提供更快速、更可靠的 AI 服务体验。

服务架构

下图是边缘大模型网关的服务架构图。

服务优势

• 接口标准化：完全兼容 OpenAI 的 API 与 SDK，便于集成，有效降低适配成本。
• 多模型支持：支持超 15 家大模型提供商的大模型及智能体服务请求。
• 场景化定制：平台预置多领域 AI 智能体，提供一站式 AI 服务调用。
• 边缘缓存优化：借助缓存机制响应用户请求，节省模型服务成本。
• 就近高效访问：将请求就近路由至低延时边缘节点，加快服务响应，提升服务品质。
• 自动重试机制：遇错误自动重试请求，减少手动运维成本。
• 故障智能转移：单模型故障时自动切换备用模型，保障服务稳定。

支持的调用渠道

关于边缘大模型网关支持的所有模型、智能体，请参见支持的调用渠道。

使用说明

您需要网关访问密钥（简称“密钥”）来访问边缘大模型网关 API。网关访问密钥包含两种类型：

• 通用密钥：由您在边缘大模型网关控制台创建。

  • 计费类型：通用密钥包含预付费、后付费两种类型。
  • 免费额度：两种类型的密钥均提供免费资源额度。调用平台预置模型和平台预置智能体会优先消耗密钥的免费资源额度。免费额度用尽后：
    • 对于预付费密钥，您可以联系我们购买更多资源额度。
    • 对于后付费密钥，将按照您的实际调用量产生费用。更多信息，请参见后付费密钥计费说明。
  • 数量限制：两种类型的密钥均有数量上限。详情请参见使用限制。

• 端智能密钥：当您在边缘智能 - 物联网平台创建了端智能型实例，系统将在边缘大模型网关中自动创建与实例绑定的端智能密钥。
  端智能型密钥不包含免费资源额度。您需要在创建实例时购买资源额度。详情请参见端智能密钥。