监控

机器学习平台为常用的负载都提供了监控看板并预置了大量的监控指标，但仍然有可能无法满足部分用户的定制化需求，最为常见的有基于某些基础指标进行聚合得到新的指标。为解决这类问题，机器学习平台支持用户将监控数据归档至自身火山引擎账号下的托管 Prometheus 服务（VMP） ，归档后的数据用户能够自由查询及灵活使用。

• VMP。

1. 当前用户拥有 MLPlatformAdminAccess 的 IAM 策略（配置策略的方法详见权限管理）。

2. 当前账号下拥有 >=1 个 VMP 工作区。

   • 如果该账号下未创建过工作时，可能联系具备相关权限如 VMPFullAccess IAM 策略的用户前往 VMP 的控制台页面创建。

1. 前往机器学习平台的【全局配置】-【监控】模块，单击【授权】进入配置页面。

2. 启动监控归档的功能并将适当的 VMP 工作区配置为归档位置。

3. 提交表单后新创建的负载的监控数据将推送至对应的 VMP 工作区，用户即可实现数据的自由处理。

注意事项

1. 开启归档之前创建的自定义任务、在线服务的监控数据不会推送至 VMP，但是开发机关机再开机后可推送。
2. 修改归档位置后，旧的自定义任务、在线服务只会推送到旧的归档位置，开发机关机再开机后可推送到新的归档位置。

监控数据归档到用户的 VMP 后可以完整地查看各项指标，此外也可以利用这部分指标在 VMP 上配置告警。详细的指标和 label 列表详见下文中的指标及 label 说明。

VMP Explore 指标检索

1. 前往 VMP 的【Explore】模块，选择用作监控数据归档的工作区。

2. 在查询框内输入指标名称或 PromQL 查询语句。

3. 通过 label 和 values 还能做更细粒度的筛选。
   

自建 Grafana 监控看板

Grafana 是一个跨平台的开源度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示。您可以通过火山引擎为您提供的镜像来部署 Grafana，也可以使用开源的镜像部署。部署 Grafana 的方法如下：

• 方法 1：在火山引擎容器服务 VKE 中部署 Grafana，详见VMP - 部署 Grafana。

• 方法 2：在火山引擎云服务器 ECS 中部署 Grafana。

  • 前往 ECS 创建实例并在实例中安装 Grafana。

  • 为 ECS 绑定公网 IP，并设置安全组规则：入方向规则中，允许 Grafana 端口（默认为3000）。

  • 在浏览器访问http://<公网IP>:<``Grafana 端口``>，初始用户名和密码都为admin。

  • 在 Grafana 设置中新增数据源，选择 Prometheus，填入 VMP 的 Basic Auth、Query URL（上述信息均可从 VMP 的工作区详情页面获得）。

通过 VMP 配置告警

因为所有监控数据已经推送到用户的 VMP 下，用户便能够通过编写 PromQL 查询语句灵活地配置告警规则，当机器学习平台的工作负载的监控指标出现异常时可以及时地发送告警消息给对应的告警联系群组。具体操作步骤详见创建告警规则。

PromQL 检索示例

• CPU 使用量。

  irate(container_cpu_usage_seconds_total{container!=""}[5m])
  

• CPU 使用率。

  irate(container_cpu_usage_seconds_total{container!=""}[5m])/on (pod,container) (container_spec_cpu_quota/1000/100)*100
  

• 显存利用率。

  avg by(gpu, pod)(DCGM_FI_DEV_FB_USED{pod="%s"} / (DCGM_FI_DEV_FB_FREE{pod="%s"} + DCGM_FI_DEV_FB_USED{pod="%s"}) * 100)
  

• 查看每个自定义任务的平均 GPU 利用率（因为自定义任务中一个任务会有多个 pod，需要按任务 id 聚合一下）。

  avg by (task_id) (DCGM_FI_DEV_GPU_UTIL{task_type="mljob"})
  

• 实现 10 天内某个队列（q-20211224114108-78qvl）各个自定义任务的平均利用率（各任务生命周期内的平均利用率）。

  avg_over_time(avg by (task_id, user_id) (
                  DCGM_FI_DEV_GPU_UTIL{task_type="mljob",resource_queue_id="q-20211224114108-78qvl"}
              )[10d:30s])
  

  • 最终将得到如下报表：因为以 (task_id, user_id) 做 avg 所以最后只会剩下 (task_id, user_id) 的 label。

    任务 ID	用户名	GPU 利用率
    t-202209xxx	user1	50%
    t-202209xxx	user2	100%
    ...	...	...

• 某个任务（t-20230519123538-vr2nl）10 天内的 GPU 使用时间。

  • 该任务使用了多少张 GPU 则监控图表中展示多少条数据曲线。

  count_over_time(DCGM_FI_DEV_GPU_UTIL{task_id="t-20230519123538-vr2nl",task_type="mljob"} [10d:1m])
  

• 按照用户、任务的维度统计过去 5 天内每种 GPU 型号的总使用卡时。

  • 查询语句解析：
    • count_over_time()：计算指定时间范围内的样本数量。在该示例中用于计算过去 1 天每分钟内的样本数量。
    • DCGM_FI_DEV_GPU_UTIL{task_type="mljob"}: 该示例中选择了 DCGM_FI_DEV_GPU_UTIL 指标用于计算使用时间，并且只考虑task_type 标签为 mljob（自定义任务）的指标数据。
    • sum by (user_id, task_id, modelName): 对于相同 user_id、task_id 和 modelName 标签值的数据点，将它们的计数值相加得到一个总数。
      • 其中 modelName 为 DCGM 自带的标签，指 GPU 型号。

  sum by (user_id, task_id, modelName) (count_over_time(DCGM_FI_DEV_GPU_UTIL{task_type="mljob"} [5d:1m]))
  

• 按照用户的维度统计过去 5 天内每种 GPU 型号的总使用卡时。

  sum by (user_id, modelName) (count_over_time(DCGM_FI_DEV_GPU_UTIL{task_type="mljob"} [5d:1m]))
  

指标及 label 说明

监控指标包含一些通用的 label 用于做数据筛选或聚合，label 主要分为用户 label 及系统 label。

• 新增 label：只要能作为 pod label 或 pod annotation 的信息均可新增为监控指标的通用 label。

• 剔除 / 更名 label：除 cloud_account_id、apig_workspace_id 之外的所有 label 均可剔除或更名。

用户 label

系统 label

Cadvisor 指标

kublet 暴露的容器的运行统计信息，主要包含 CPU、内存、网络等非 GPU 的监控指标。
以下指标为 container 为单位，在线服务、开发机和自定义任务均为单容器 Pod，同一指标一个 Pod 会有三条数据：

• Pod 总体

• infra 容器：pause

• 用户的业务主容器：用户仅需关心该容器的监控数据即可，不同负载类型的主容器名不同。

  • 开发机主容器名：main。

  • 自定义任务主容器名：mljob。

  • 在线服务主容器名：{task_id}，task_id 为用户 label。

• 通过 {container!=""} 可过滤出主容器的数据，如container_cpu_usage_seconds_total{container!=""}。

DCGM 指标

DCGM（NVIDIA Data Center GPU Manager）采集的如 利用率、SM 利用率、PCIe / NVLink 流量速率等 GPU 相关监控指标。如需了解指标的更多信息详见Profiling Metrics、Field Identifiers。

Utilization

Memory

Profiling

Clock

XidError & Violations

Temperature & Power

Remapped Rows

PCIe

NVLink

VGPU License Status