You need to enable JavaScript to run this app.
导航
数据监控
最近更新时间:2024.09.03 11:11:24首次发布时间:2024.09.03 11:11:24

大模型网关通过火山引擎云监控服务,为您提供针对产品数据指标的监控与告警服务。本文介绍了大模型网关数据监控与告警的相关配置。

概述

通过火山引擎云监控服务,您可以执行以下与大模型网关数据监控相关的操作:

  • 查看监控报表及配置告警策略
    大模型网关预定义了一些数据监控指标。这些指标反映了您所使用的大模型网关资源(网关访问密钥)的状态。
    云监控能够帮助您监控大模型网关的相关监控指标,允许您查询指标数值的变化情况。云监控也可以在指标数值满足一定特征时向您发送告警。如需使用指标告警功能,您需要配置相应的告警策略。

前提条件

  • 您已经完成企业实名认证。相关操作,请参见实名认证
    云监控仅向已完成企业实名认证的用户提供服务。

查询大模型网关监控报表

大模型网关提供以网关访问密钥为维度的监控报表。您可以通过云监控的 云产品监控 页面,查询大模型网关的网关访问密钥监控报表。

使用限制

  • 云监控仅保存近 15 天的监控数据。

操作步骤

  1. 登录大模型网关控制台
  2. 在左侧导航栏底部,单击 数据监控
    页面将自动跳转到云监控控制台的 云产品监控 菜单,并为您展示 AI网关-CDN与加速 监控页面。
  3. AI网关-CDN与加速 监控页面的下方,找到您的网关访问密钥,单击密钥名称。
    您将进入网关访问密钥的监控报表。
  4. 进入网关访问密钥监控报表后,参考以下步骤,查询具体的监控报表:
    1. 监控 标签页,选择您要查看的报表类型。可选项:基础指标高级指标

      说明

      高级指标 现只开放白名单测试。只有白名单中的账号可以看到相关配置。如果您对该功能感兴趣,可以通过工单系统联系我们,以了解详情。

    2. 在图表的上方,设置时间范围。
      您可以单击具体的时间选项,查询对应时间内的数据;也可以通过时间选择器自定义一段时间。

      注意

      自定义的时间必须在近 15 天范围内。

    完成上述设置后,页面将展示对应的监控报表。每种类型的监控报表都包含多个图表。关于不同图表的介绍,请参见网关访问密钥监控报表数据说明

    说明

    监控报表支持 图表联动 功能。开启该功能后,如果您将光标放置在一个图表上,可以同时查看所有图表在特定时刻的数据(如下图所示)。

    图片

网关访问密钥监控报表数据说明

报表类型

支持的图表及数据

说明

基础指标

网关访问密钥总用量

该网关访问密钥中已消耗的 tokens 额度总量。单位:个。

网关访问密钥总用量消耗速率

该网关访问密钥中每秒消耗的 tokens 额度趋势。单位:个/秒。

配置告警策略

当您在云监控中配置了针对大模型网关数据指标的告警策略后,云监控将为您监控对应数据指标的数值变化,并在指标数值满足一定特征时向您发送告警。

监控对象说明

  • 云监控能够在以下维度监控大模型网关数据指标:网关访问密钥。
  • 不同维度下支持的数据指标不同。与大模型网关相关的所有数据监控指标,请参见云监控指标查询

操作步骤

您可以在云监控控制台的告警中心创建告警策略。具体操作,请参见云监控产品文档
创建告警策略过程中,留意以下配置:

  • 名称:为告警策略设置一个名称。建议在名称中包含“大模型网关”,以便于查找。

    示例:大模型网关告警策略

  • 资源类型:选择 CDN与加速 > AI网关-CDN与加速
  • 维度:表示监控对象的类型。支持的选项包含 网关访问密钥
  • 资源:表示要监控的资源的范围。
    资源筛选器的选项包含 全部部分
    • 全部:对所有符合条件的资源进行监控。
    • 部分:手动选择需要监控的资源。
  • 触发条件:定义告警的触发条件。
    与大模型网关相关的所有数据监控指标,请参见云监控指标查询

图片