大模型网关通过火山引擎云监控服务,为您提供针对产品数据指标的监控与告警服务。本文介绍了大模型网关数据监控与告警的相关配置。
概述
通过火山引擎云监控服务,您可以执行以下与大模型网关数据监控相关的操作:
- 查看监控报表及配置告警策略
大模型网关预定义了一些数据监控指标。这些指标反映了您所使用的大模型网关资源(网关访问密钥)的状态。
云监控能够帮助您监控大模型网关的相关监控指标,允许您查询指标数值的变化情况。云监控也可以在指标数值满足一定特征时向您发送告警。如需使用指标告警功能,您需要配置相应的告警策略。
前提条件
- 您已经完成企业实名认证。相关操作,请参见实名认证。
云监控仅向已完成企业实名认证的用户提供服务。
查询大模型网关监控报表
大模型网关提供以网关访问密钥为维度的监控报表。您可以通过云监控的 云产品监控 页面,查询大模型网关的网关访问密钥监控报表。
使用限制
操作步骤
- 登录大模型网关控制台。
- 在左侧导航栏底部,单击 数据监控。
页面将自动跳转到云监控控制台的 云产品监控 菜单,并为您展示 AI网关-CDN与加速 监控页面。 - 在 AI网关-CDN与加速 监控页面的下方,找到您的网关访问密钥,单击密钥名称。
您将进入网关访问密钥的监控报表。 - 进入网关访问密钥监控报表后,参考以下步骤,查询具体的监控报表:
- 在 监控 标签页,选择您要查看的报表类型。可选项:基础指标、高级指标。
说明
高级指标 现只开放白名单测试。只有白名单中的账号可以看到相关配置。如果您对该功能感兴趣,可以通过工单系统联系我们,以了解详情。
- 在图表的上方,设置时间范围。
您可以单击具体的时间选项,查询对应时间内的数据;也可以通过时间选择器自定义一段时间。
完成上述设置后,页面将展示对应的监控报表。每种类型的监控报表都包含多个图表。关于不同图表的介绍,请参见网关访问密钥监控报表数据说明。说明
监控报表支持 图表联动 功能。开启该功能后,如果您将光标放置在一个图表上,可以同时查看所有图表在特定时刻的数据(如下图所示)。
网关访问密钥监控报表数据说明
报表类型 | 支持的图表及数据 | 说明 |
---|
基础指标 | 网关访问密钥总用量 | 该网关访问密钥中已消耗的 tokens 额度总量。单位:个。 |
网关访问密钥总用量消耗速率 | 该网关访问密钥中每秒消耗的 tokens 额度趋势。单位:个/秒。 |
配置告警策略
当您在云监控中配置了针对大模型网关数据指标的告警策略后,云监控将为您监控对应数据指标的数值变化,并在指标数值满足一定特征时向您发送告警。
监控对象说明
- 云监控能够在以下维度监控大模型网关数据指标:网关访问密钥。
- 不同维度下支持的数据指标不同。与大模型网关相关的所有数据监控指标,请参见云监控指标查询。
操作步骤
您可以在云监控控制台的告警中心创建告警策略。具体操作,请参见云监控产品文档。
创建告警策略过程中,留意以下配置:
- 名称:为告警策略设置一个名称。建议在名称中包含“大模型网关”,以便于查找。
示例:大模型网关告警策略。
- 资源类型:选择 CDN与加速 > AI网关-CDN与加速。
- 维度:表示监控对象的类型。支持的选项包含 网关访问密钥。
- 资源:表示要监控的资源的范围。
资源筛选器的选项包含 全部、部分。
- 全部:对所有符合条件的资源进行监控。
- 部分:手动选择需要监控的资源。
- 触发条件:定义告警的触发条件。
与大模型网关相关的所有数据监控指标,请参见云监控指标查询。