火山引擎全站加速联合豆包大模型、扣子发布了 AI 场景加速解决方案,提供覆盖全球地域的豆包全线大模型及扣子平台服务加速能力。该解决方案旨在解决用户跨区域访问火山引擎大模型服务以及扣子服务时的传输性能问题。该解决方案提供预置的配置选项,方便您加速用户对最常用的几款火山引擎的人工智能服务 API 的访问。
该解决方案提供开箱即用的体验,无需复杂的配置即可实现大模型及扣子服务的加速能力。例如:
源站服务 | 描述 | 域名 |
---|---|---|
大语言模型 | 火山方舟大模型服务平台提供的大模型服务的 API | ark.cn-beijing.volces.com |
语音大模型 | 火山引擎语音技术提供的智能语音服务的 API。 | openspeech.bytedance.com |
其他模型 | 火山方舟大模型服务平台提供的同声传译 API。 | ark-beta.cn-beijing.volces.com |
AI应用服务平台-扣子 | 火山引擎扣子(coze.cn)提供的AI应用服务的 API。 | api.coze.cn |
您已经配置了您需要加速的 AI 源站服务。例如:相关模型服务已启用、服务终端节点已创建、API Key 已生成并授予必需的权限。
登录全站加速控制台。
在左侧导航栏中,点击 域名管理。
点击 添加域名。
在 添加域名 页面,选择 AI 场景加速。
配置加速域名的其他基础配置,然后点击 下一步。
字段 | 说明 | 示例 |
---|---|---|
加速区域 | 选择您需要开启的加速区域。加速区域为您客户端流量接入到全站加速网络的区域。它通常是客户端所在的区域。跨区域访问的场景下,常用的加速区域可以选:
| 全球 |
加速域名 | 设置自定义域名前缀。 | doubao-256k |
源站地址 | 选择您需要加速的源站类型。 | 大语言模型 |
在 推荐配置 页面,系统已为您设置了必选选项。如:WebSocket 协议支持已开启、HTTPS 服务已开启并配置了 SSL 证书。这些默认开启的选项不允许关闭。您可以按需开启边缘 WAF 的相应功能。您也可以在域名生效后再更改其他高级配置。
点击 完成配置,并等待加速域名从 配置中 状态变为 运行中 状态。
您可以测试一下用配置完成的加速域名对 AI 服务进行访问。调用 API 时,您只需要将原有的 API 终端节点的域名部分换成加速域名即可。
下图以火山方舟的大语言模型为例: