AI 网关支持模型 Fallback 功能，当系统中配置的 AI 模型无法响应或出错时，系统能自动切换至 Fallback 模型，有效保证应用程序的稳定性和可靠性。本文介绍如何配置 Fallback 模型。 ## 背景信息 AI Fallback 是指在 AI 网关中配置的主模型服务不可用时，系统自动切换到 Fallback 备用模型，从而有效保证应用程序的稳定性和可靠性，避免因为某个模型服务的异常或者高负载造成的请求不可用。典型场景如下图所示。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_233d30bf476ebd5af32708681cff091c.png =952x) ## 触发条件当调用模型服务，返回任意 HTTP 的`4xx`、`5xx `错误状态码时，均会触发 AI Fallback。 ## 前提条件 * 已开通目标大语言模型服务和 Fallback 模型服务，并获取 API Key。以豆包为例，详情请参见 [开通管理](https://www.volcengine.com/docs/82379/1159200) 和 [API Key 管理](https://www.volcengine.com/docs/82379/1361424)。 :::tip 使用火山方舟平台和豆包大模型时，还需要创建接入点，详情请参见 [创建推理接入点（Endpoint）](https://www.volcengine.com/docs/82379/1099522)。 ::: * API 网关 * 已创建 API 网关实例，详情请参见 [创建实例](https://www.volcengine.com/docs/6569/85693)。 * 已将网关实例升级至 3.4.0 及以上版本，详情请参见 [版本管理](https://www.volcengine.com/docs/6569/1657695)。 * 已创建服务，并绑定自定义域名。详情请参见 [创建服务](https://www.volcengine.com/docs/6569/85695)、[绑定自定义域名](https://www.volcengine.com/docs/6569/148261)。 * 已将目标大语言模型和 Fallback 模型配置为 Upstream，详情请参见 [AI 多模型代理](https://www.volcengine.com/docs/6569/1392484)。 ## 操作步骤 1. 在左侧导航栏选择 **路由管理 \> 服务列表（域名）** 。 2. 单击 **创建路由**，配置路由信息。在配置 Upstream 流量分发时开启 Fallback，并配置 Fallback 模型。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f60263281e45de8d429d83513a0abbd6.png =929x) |配置项 |说明 | |---|---| |Fallback |是否开启 AI 模型 Fallback 功能。开启该功能时，当后端 AI 模型返回`4xx`或`5xx`错误码时，AI 网关能自动切换至 Fallback 模型。|\ | ||\ | |* **目标 Upstream**：配置 Fallback 模型的 Upstream。|\ | |* **目标模型**：配置 Fallback 目标模型。未配置时，默认表示透传。|\ | |* **目标路径**：配置模型的路径。未配置时，默认表示透传。 | 4. 单击 **确定**，完成配置。 ## 结果验证 1. 当主模型正常时，在本地环境中，通过域名调用大模型。 ```bash curl http://apig-example.com \ -H "Content-Type: application/json" \ -d '{ "model": "ep-20***-***", "messages": [ {"role": "system","content": "你是豆包，是由字节跳动开发的 AI 人工智能助手."}, {"role": "user","content": "常见的十字花科植物有哪些？"} ] }' ``` :::warning 通过 AI 网关调用大模型时，`model`为必填字段，但可以任意取值，AI 网关会将其值替换为路由中 **目标模型** 的配置。 ::: 预期访问结果如下。表示可以通过 AI 网关正确访问到目标大模型。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_579efd7ab3820a1f51a2dc137c067661.png =973x) 2. 当主模型故障时，在本地环境中，通过域名调用大模型，依然能够获得应答。表示 AI 网关已经正确切换到 Fallback 模型。