AI 加速网关支持接入您自部署的模型服务。通过将自部署模型添加到网关实例，您可以利用 AI 加速网关的全球加速、智能路由、限流和监控等能力来管理这些模型的 API 调用。

适用场景 #

当您遇到以下场景时，可以将自部署模型接入 AI 加速网关：

• 企业自研或私有化部署了大模型服务（如文本生成、语音合成、语音识别等），需要为全球用户提供低延迟访问。
• 需要将自部署模型与火山方舟或第三方模型服务统一管理，使用主备容灾或负载均衡策略。
• 希望通过网关统一监控自部署模型的请求数、Token 用量和 QPS。

前提条件 #

接入前，请确保满足以下条件：

• 已创建 AI 加速网关实例。创建方法请参见 创建 AI 加速网关实例。
• 自部署模型已部署并可正常访问。
• 自部署模型的接口协议兼容 OpenAI 标准（如 Chat Completions API）或符合 AI 加速网关的接口协议规范。接口规范请参见自部署模型接入 AI 加速网关接口协议规范。

操作流程 #

将自部署模型接入 AI 加速网关的基本流程如下：

1. 确认模型的接口协议。
   根据您的模型类型（文本生成、语音合成或语音识别），确认自部署模型的接口是否符合网关要求的协议规范。

2. 在网关实例中添加自部署模型。
   登录全站加速控制台，进入目标实例的编辑页面。在 模型配置 区域，添加 自部署模型 作为模型来源，填写模型名称、BaseURL 和 API Key。

   注意

   自部署模型仅支持通过 OpenAI 兼容协议方式调用。在配置模型时必须提供模型的 API Key。关于调用方式的详细介绍，请参见功能特性。

   

   • 对于语音合成（TTS）​模型，按需配置协议类型（HTTP 或 WebSocket）、采样率、位深、通道数和集成方式。
     

   • 对于语音识别（ASR）​模型，按需配置结果输出方式和是否支持 VAD。
     

   详细的配置项说明请参见配置说明。

3. 调用模型
   模型添加成功后，您即可通过网关服务地址调用自部署模型。

   • 文本生成：通过 OpenAI 兼容的 Chat Completions API 调用。代码示例请参见文本生成（Text）。
   • 语音合成（TTS）：通过 HTTP API 或 Realtime API（WebSocket）调用。详情请参见语音合成（Speech/TTS）和使用 Realtime API 调用自部署 TTS 模型。
   • 语音识别（ASR）：通过 HTTP API 或 Realtime API（WebSocket）调用。详情请参见语音识别（Audio/ASR）和使用 Realtime API 调用自部署 ASR 模型。

相关文档 #