本文介绍了大模型网关新功能特性的发布动态。
产品特性 | 所属模块 | 功能描述 | 上线范围 | 相关文档 |
---|---|---|---|---|
支持数据监控与告警 | 大模型网关 | 允许在火山引擎云监控中查看您的网关访问密钥数据报表(支持免费额度用量等指标),并可针对监控指标创建告警策略,主动感知数据变化及异常。 | 全量发布 | |
支持的第三方模型中增加:腾讯-混元、百度-文心一言模型 | 模型调用密钥 | 允许添加您在腾讯-混元平台、百度-文心一言平台获得的模型调用密钥,以便通过大模型网关调用相应平台提供的模型。 | 全量发布 | |
支持调用认证功能 | 网关访问密钥 | 允许您在向大模型网关发送的 API 请求中包含经加密的客户端身份认证信息,以及开启高级数据监控功能(在客户端维度查询监控数据)。该功能加白开放。只有白名单中用户可以使用。 | 白名单 |
产品特性 | 所属模块 | 功能描述 | 上线范围 | 相关文档 |
---|---|---|---|---|
支持缓存配置 | 大模型网关 | 针对网关访问密钥,您可以设置是否开启缓存功能。若开启缓存功能,大模型网关会缓存来自模型提供商的响应。 | 全量发布 | |
支持第三方模型调用 | 大模型网关 | 大模型网关允许您添加来自第三方模型提供商的密钥(API Key),以便通过大模型网关来调用第三方模型。需要注意的是:
| 全量发布 |
产品特性 | 所属模块 | 功能描述 | 上线范围 | 相关文档 |
---|---|---|---|---|
支持调用策略配置 | 大模型网关 | 针对网关访问密钥,您可以设置模型调用的策略,包含自动重试次数、模型调用顺序。 | 全量发布 | |
产品上线 | 大模型网关 | 大模型网关面向所有用户开放免费测试。使用完成实名认证的火山引擎账号,即可创建网关访问密钥,获得预置模型的免费调用额度。 | 全量发布 |