You need to enable JavaScript to run this app.
导航
新功能发布记录
最近更新时间:2024.09.10 14:37:52首次发布时间:2024.08.07 11:04:00

本文介绍了大模型网关新功能特性的发布动态。

2024年9月

产品特性

所属模块

功能描述

上线范围

相关文档

支持数据监控与告警

大模型网关

允许在火山引擎云监控中查看您的网关访问密钥数据报表(支持免费额度用量等指标),并可针对监控指标创建告警策略,主动感知数据变化及异常。

全量发布

数据监控

支持的第三方模型中增加:腾讯-混元、百度-文心一言模型

模型调用密钥

允许添加您在腾讯-混元平台、百度-文心一言平台获得的模型调用密钥,以便通过大模型网关调用相应平台提供的模型。

全量发布

支持的第三方模型

支持调用认证功能

网关访问密钥

允许您在向大模型网关发送的 API 请求中包含经加密的客户端身份认证信息,以及开启高级数据监控功能(在客户端维度查询监控数据)。该功能加白开放。只有白名单中用户可以使用。

白名单

查看代码

2024年8月

产品特性

所属模块

功能描述

上线范围

相关文档

支持缓存配置

大模型网关

针对网关访问密钥,您可以设置是否开启缓存功能。若开启缓存功能,大模型网关会缓存来自模型提供商的响应。
在收到相同请求时,大模型网关将会基于缓存进行响应,而无需重新发起模型调用。缓存机制使您的用户更快获得响应,并节省模型使用量。

全量发布

网关访问密钥

支持第三方模型调用

大模型网关

大模型网关允许您添加来自第三方模型提供商的密钥(API Key),以便通过大模型网关来调用第三方模型。需要注意的是:

  • 调用第三方模型将会消耗您在第三方模型提供商平台的额度,不会消耗大模型网关向您提供的免费调用额度(免费调用额度仅限于调用大模型网关的预置模型)。
  • 目前支持的第三方模型提供商及模型有限。

全量发布

模型调用密钥
支持的第三方模型

2024年7月

产品特性

所属模块

功能描述

上线范围

相关文档

支持调用策略配置

大模型网关

针对网关访问密钥,您可以设置模型调用的策略,包含自动重试次数、模型调用顺序。

全量发布

网关访问密钥

产品上线

大模型网关

大模型网关面向所有用户开放免费测试。使用完成实名认证的火山引擎账号,即可创建网关访问密钥,获得预置模型的免费调用额度。

全量发布

什么是大模型网关
支持的模型
使用说明
开始使用大模型网关