容器服务支持监控集群的 AI 资源，即 GPU 资源、RDMA 资源的状态。本文为您介绍如何配置 AI 资源观测。 ## 使用限制 * 仅支持 NVIDIA GPU 模式下，采集节点和 Pod 的 RDMA 指标。不支持 mGPU 模式。 * 共享（shared）模式下，仅上报节点的 RDMA 指标。 * 独占（exclusive）模式下，仅上报 Pod 的 RDMA 指标。 ## 前提条件 * 已开启云原生观测，详情请参见 [开启观测](https://www.volcengine.com/docs/6460/1213992)。 * 已开启容器服务观测，详情请参见 [容器服务观测](https://www.volcengine.com/docs/6460/148257)。 * 已安装对应的组件，包括： * **GPU 观测**：已安装 nvidia\-device\-plugin 组件，并同步安装了 dcgm\-exporter 插件，详情请参见 [安装组件](https://www.volcengine.com/docs/6460/101014)。 * **mGPU 观测**：已安装 mgpu 组件，并同步安装了 mgpu\-exporter 插件，详情请参见 [安装组件](https://www.volcengine.com/docs/6460/101014)。 * **RDMA 观测**：已安装 rdma\-device\-plugin 组件，详情请参见 [安装组件](https://www.volcengine.com/docs/6460/101014)。 * prometheus\-agent 组件已经升级到 v2.2.0 及以上版本。详情请参见 [组件发布记录](https://www.volcengine.com/docs/6460/699875)。 ## 操作步骤 ### 步骤一：开启观测 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在左侧导航栏单击 **集群**，找到目标集群，单击集群名称。 3. 在集群管理页面的左侧导航栏中，单击 **观测配置**，并选择 **基础观测** 页签。 4. 选择 **AI 资源** 卡片，单击 **启用**，开启集群 AI 资源观测。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e416dd1c968d516311d344b25df4fee7.png =915x) 5. 系统自动检查开启观测所需的必要条件。包括：工作区配置、组件状态等。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_0501e6f9087307680324606ef84712af.png =915x) 6. 单击 **开启**，开启 AI 资源观测。 ### 步骤二：配置采集规则观测功能开启后，您可以配置采集规则，选择需要采集的目标组件、具体指标项及采集间隔。可以根据实际需求丢弃一些不用的指标。 1. 在集群管理页面的左侧导航栏中，单击 **观测配置**，并选择 **基础观测** 页签。 2. 选择 **AI 资源** 卡片，单击 **编辑配置** 并选择 **指标** 页签，配置采集规则，并选择具体的采集指标。 * 在组件列表 **操作** 列，单击开关，开启或关闭组件的采集规则。当关闭组件的采集规则时，系统不会采该集组件的所有指标。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3687cf73fc1e681d8203d4678890990f.png =891x) * 单击组件列表 **操作** 栏中的 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f33c825f87fff5f5ec3e0ffd80c56234.png) ，支持选择或丢弃组件的具体指标，并配置面向该组件的采集间隔。 * 在 **采集间隔** 中，选择该组件指标的采集间隔。不同组件支持的采集间隔不同。 * 在 **指标列表** 中，勾选指标，则采集该指标。取消勾选，则丢弃该指标。单击 **全部**、**基础指标** 或 **其他指标** 页签，允许基于指标类型对指标项进行筛选。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6ac378ac2b436d3c273c89a4f88763be.png =873x) :::tip * 减小指标采集间隔，会增加单位时间内上报的指标数量，可以提升监控精度。但会增加托管 Prometheus 工作区的费用。增加指标采集间隔，会减少单位时间内上报的指标数量，可以减少托管 Prometheus 工作区的费用，但会降低监控精度。请根据实际需要配置。 * 云产品的指标类型分为 **基础指标** 和 **其他指标**，不同类型指标的计费方式不同，详情请参见 [托管 Prometheus 计费方式](https://www.volcengine.com/docs/6731/447498)。 ::: 3. 单击 **确认**，完成配置。 ### 步骤三：配置告警您可以基于预置的告警模板，快速完成 AI 资源观测的告警配置。 1. 在集群管理页面的左侧导航栏中，单击 **观测配置**，并选择 **基础观测** 页签。 2. 选择 **AI 资源** 卡片，单击 **编辑配置** 并选择 **告警** 页签，配置告警的相关参数。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_b7187b192f3f123e8f3ae858a550baf4.png =899x) |配置项 |说明 | |---|---| |告警模版 |单击开启需要的告警模版，允许多选。 | |告警聚合策略 |在下拉菜单中选择告警聚合策略。详情请参见 [创建告警聚合策略](https://www.volcengine.com/docs/6731/159019)。 | |告警通知策略 |在下拉菜单中选择告警通知策略。系统会使用通知策略中配置的告警等级和联系人组，将告警发送给指定的联系人。详情请参见 [创建告警通知策略](https://www.volcengine.com/docs/6731/159013)。 | 3. 单击 **确定**，完成配置。 :::tip 如果告警模板无法满足您的要求，也可以在托管 Prometheus 的告警中心配置自定义告警，详情请参见 [创建告警规则](https://www.volcengine.com/docs/6731/159016)。 ::: ## 观测看板 :::tip 预置看板中为您提供监控数据同比对照、复制看板语句等功能，详情请参见 [使用看板](https://www.volcengine.com/docs/6460/1927052)。 ::: ### 集群 GPU 监控集群 GPU 监控看板展示了集群纬度的 GPU 监控信息，包括：集群总 GPU 数、已分配 GPU 数、已使用 GPU 数等。您可以从该看板中了解整个集群的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。 1. 在集群管理页面的左侧导航栏中，选择 **监控中心** \> **监控看板**。 2. 在左侧看板列表中选择 **GPU 监控** \> **集群 GPU 监控**，即可查看监控看板。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_af4ca4f23fc8e31f78a5739f40f9c487.png =927x) ### GPU 实例监控 GPU 实例监控看板展示了 GPU 卡实例纬度的 GPU 监控信息，包括：GPU 利用率、GPU 使用显存、GPU 温度、GPU 功耗等。您可以从该看板中了解指定 GPU 卡的监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。 1. 在集群管理页面的左侧导航栏中，选择 **监控中心** \> **监控看板**。 2. 在左侧看板列表中选择 **GPU 监控** \> **GPU 实例监控**，即可查看监控看板。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_bc48b83d2c2c26a9008a96be419d2832.png =934x) ### 容器组 GPU 监控容器组 GPU 监控看板展示了容器组纬度的 GPU 监控信息，包括：GPU 使用率、GPU 显存使用率、GPU 显存用量等。您可以从该看板中了解指定容器组的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。 1. 在集群管理页面的左侧导航栏中，选择 **监控中心** \> **监控看板**。 2. 在左侧看板列表中选择 **GPU 监控** \> **容器组 GPU 监控**，即可查看监控看板。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_c56c20a2e8647dad76c60abf1e7a10bd.png =941x) ### 节点 GPU 监控节点 GPU 监控看板展示了集群节点的 GPU 监控信息，包括：节点资源使用情况、节点 GPU 使用详情、GPU 利用率、GPU 使用现存等。您可以从该看板中了解指定节点的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。 1. 在集群管理页面的左侧导航栏中，选择 **监控中心** \> **监控看板**。 2. 在左侧看板列表中选择 **GPU 监控** \> **节点 GPU 监控**，即可查看监控看板。 * 在 **节点资源使用情况** 列表中，单击选择具体的节点，可以查看指定节点的监控信息。 * 在 **节点 GPU 使用详情** 列表中，单击选择具体的 GPU 卡，可以查看指定 GPU 卡的监控信息。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_cf8cb684d7646735760d75f7d1a24a9f.png =922x) ### 用户 GPU 监控用户 GPU 监控看板展示了展示了团队维度的 AI 训练监控信息。包括：团队训练任务数、团队 GPU worker 数、团队训练任务 GPU 利用率、团队训练任务异常 Xid 等。您可以从该看板中了解整个团队的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。 1. 在集群管理页面的左侧导航栏中，选择 **监控中心** \> **监控看板**。 2. 在左侧看板列表中选择 **GPU 监控** \> **用户 GPU 监控**，即可查看监控看板。 * 在 **团队训练任务概况** 列表中，单击选择具体的团队，可以查看指定团队的监控信息。 * 在 **团队成员训练任务概况** 列表中，单击选择具体的团队成员，可以查看指定团队成员的监控信息。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_da0fee728bf6c918b87885da91a1894a.png =928x) :::tip 为了能够在大盘中查看到团队训练任务的监控信息，您需要在训练任务中增加`ai.vke.volcengine.com/task`、`ai.vke.volcengine.com/job`、`ai.vke.volcengine.com/team`和`ai.vke.volcengine.com/user`标签。详情请参见 [AI 训练任务监控](https://www.volcengine.com/docs/6460/1140994)。 ::: ## 指标清单 ### rdma\-device\-plugin 监控 RDMA 网络性能指标暂未提供观测看板，您可以通过 rdma\-device\-plugin 组件的指标清单查看监控信息，如下表所示。 |指标分类 |指标名称 |指标类型 |指标含义 | |---|---|---|---| |节点指标 |rdma_exporter_node_infiniband_implied_nak_seq_err_total |Counter |Read response 乱序次数。 | |^^|rdma_exporter_node_infiniband_local_ack_timeout_err_total |Counter |出方向超时次数。 | |^^|rdma_exporter_node_infiniband_np_cnp_sent_total |Counter |出方向采集周期内网卡发出的 CNP 报文数量。代表接收端路径上出现了拥塞，需要通知发送端减少发送。 | |^^|rdma_exporter_node_infiniband_np_ecn_marked_roce_packets_total |Counter |入方向采集周期内网卡收到的 ECN mark 的报文数量。代表路径上出现了拥塞。 | |^^|rdma_exporter_node_infiniband_out_of_sequence_total |Counter |入方向乱序次数。该指标增长可能是链路有问题。 | |^^|rdma_exporter_node_infiniband_packet_seq_err_total |Counter |出方向乱序次数。 | |^^|rdma_exporter_node_infiniband_port_data_received_bytes_total |Counter |驱动层面入方向流量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_node_infiniband_port_data_transmitted_bytes_total |Counter |驱动层面出方向流量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_node_infiniband_port_packets_received_total |Counter |驱动层面入方向包数量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_node_infiniband_port_packets_transmitted_total |Counter |驱动层面出方向包数量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_node_infiniband_rdma_data_received_bytes_total |Counter |RDMA 入方向流量。 | |^^|rdma_exporter_node_infiniband_rdma_data_transmitted_bytes_total |Counter |RDMA 出方向流量。 | |^^|rdma_exporter_node_infiniband_rdma_packets_received_total |Counter |RDMA 入方向包数量。 | |^^|rdma_exporter_node_infiniband_rdma_packets_transmitted_total |Counter |RDMA 出方向包数量。 | |^^|rdma_exporter_node_infiniband_rp_cnp_handled_total |Counter |入方向采集周期内网卡处理的 CNP 报文数量。需要降低发送频率。 | |^^|rdma_exporter_node_infiniband_rp_cnp_ignored_total |Counter |入方向采集周期内网卡忽略的 CNP 报文数量。该指标不应该增长。如果增长要查看网卡的拥塞控制配置是否正常，是否使能 ECN/CNP。 | |^^|rdma_exporter_node_infiniband_rx_pause_duration_seconds |Counter |入方向 pause 时长。该指标一般指向网络拥塞，代表网卡作为发送端收到的 PFC 包，意味着接收端处于严重拥塞，接收端要求网卡停止发送。 | |^^|rdma_exporter_node_infiniband_tx_pause_duration_seconds |Counter |出方向 pause 时长。该指标一般指向主机异常，网卡发出 PFC 包，意味着网卡作为接收端处于严重拥塞，网卡要求发送端停止发送。 | |^^|rdma_exporter_node_infiniband_rx_pause_total |Counter |入方向接收到的 PFC pause 报文数量，当前都是使用了优先级 5。 | |^^|rdma_exporter_node_infiniband_tx_pause_total |Counter |出方向发送的 PFC pause 报文数量。 | |Pod 指标 |rdma_exporter_pod_infiniband_implied_nak_seq_err_total |Counter |Read response 乱序次数。 | |^^|rdma_exporter_pod_infiniband_local_ack_timeout_err_total |Counter |出方向超时次数。 | |^^|rdma_exporter_pod_infiniband_np_cnp_sent_total |Counter |出方向采集周期内网卡发出的 CNP 报文数量。代表接收端路径上出现了拥塞，需要通知发送端减少发送。 | |^^|rdma_exporter_pod_infiniband_np_ecn_marked_roce_packets_total |Counter |入方向采集周期内网卡收到的 ECN mark 的报文数量。代表路径上出现了拥塞。 | |^^|rdma_exporter_pod_infiniband_out_of_sequence_total |Counter |入方向乱序次数。该指标增长可能是链路有问题。 | |^^|rdma_exporter_pod_infiniband_packet_seq_err_total |Counter |出方向乱序次数。 | |^^|rdma_exporter_pod_infiniband_port_data_received_bytes_total |Counter |驱动层面入方向流量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_pod_infiniband_port_data_transmitted_bytes_total |Counter |驱动层面出方向流量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_pod_infiniband_port_packets_received_total |Counter |驱动层面入方向包数量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_pod_infiniband_port_packets_transmitted_total |Counter |驱动层面出方向包数量，包括 TCP/IP 和 RDMA。 | |^^|rdma_exporter_pod_infiniband_rdma_data_received_bytes_total |Counter |RDMA 入方向流量。 | |^^|rdma_exporter_pod_infiniband_rdma_data_transmitted_bytes_total |Counter |RDMA 出方向流量。 | |^^|rdma_exporter_pod_infiniband_rdma_packets_received_total |Counter |RDMA 入方向包数量。 | |^^|rdma_exporter_pod_infiniband_rdma_packets_transmitted_total |Counter |RDMA 出方向包数量。 | |^^|rdma_exporter_pod_infiniband_rp_cnp_handled_total |Counter |入方向采集周期内网卡处理的 CNP 报文数量。需要降低发送频率。 | |^^|rdma_exporter_pod_infiniband_rp_cnp_ignored_total |Counter |入方向采集周期内网卡忽略的 CNP 报文数量。该指标不应该增长。如果增长要查看网卡的拥塞控制配置是否正常，是否使能 ECN/CNP。 | |^^|rdma_exporter_pod_infiniband_rx_pause_duration_seconds |Counter |入方向 pause 时长。该指标一般指向网络拥塞，代表网卡作为发送端收到的 PFC 包，意味着接收端处于严重拥塞，接收端要求网卡停止发送。 | |^^|rdma_exporter_pod_infiniband_tx_pause_duration_seconds |Counter |出方向 pause 时长。该指标一般指向主机异常，网卡发出 PFC 包，意味着网卡作为接收端处于严重拥塞，网卡要求发送端停止发送。 | |^^|rdma_exporter_pod_infiniband_rx_pause_total |Counter |入方向接收到的 PFC pause 报文数量，当前都是使用了优先级 5。 | |^^|rdma_exporter_pod_infiniband_tx_pause_total |Counter |出方向发送的 PFC pause 报文数量。 | rdma\-device\-plugin 组件的指标中自定义了部分标签，您可以使用这些标签对指标进行筛选和查看。常用指标标签说明如下表所示。 |标签名称 |说明 | |---|---| |Pod |使用 RDMA 设备的容器组 ID，例如`pcji9mk1***`。 | |Namespace |使用 RDMA 设备的容器组所在命名空间。 | |RdmaMode |RDMA 网络模式，取值包括：|\ | ||\ | |* **exclusive**：独占模式。|\ | |* **shared**：共享模式。 | |Container |使用 RDMA 设备的容器名称。 | |Device |RDMA 网络设备名称，例如`mlx5_1`。 | :::tip Prometheus 通用标签，比如`cluster`、`instance`等，不再单独说明。 ::: ### node\-exporter 监控 node\-exporter 采集的 RDMA 指标清单，请参见 [官方文档](https://github.com/prometheus/node_exporter/blob/master/collector/infiniband_linux.go)。您可以在 Explore 中，通过`node_infiniband_`前缀查询这些指标。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_76fa94aa6c5b1bdeb01cd4dbb48072d8.png =906x) ## 查看指标您可以使用托管 Prometheus 的 Explore 功能来快速查询和展示指标数据。详情请参见 [指标查询](https://www.volcengine.com/docs/6731/195523)。 ## GPU XID 健康检查监控和告警为避免您在 nvidia\-device\-plugin 组件中开启 XID 健康检查后，无法及时感知由于 XID 异常被自动隔离 GPU。建议配置如下 GPU XID 健康检查监控和告警策略，帮助您提前关注相关风险。更多详情，请参见 [【产品公告】nvidia-device-plugin 组件关闭 XID 异常隔离功能](https://www.volcengine.com/docs/6460/2228403)。 ### 监控开启 GPU 观测后，支持在 VMP 控制台中使用 PromQL 语句查询 XID 健康检查相关指标。详细的操作，请参见 [指标查询](https://www.volcengine.com/docs/6731/195523)。 1. 登录 [VMP 服务控制台](https://console.volcengine.com/prometheus)。 2. 单击左侧导航栏的 **Explore**，进入 Explore 页面。 3. 在右上角的配置项中，配置需要查询指标的 **工作区**、**查询时间段** 和 **数据刷新方式**。 4. 使用如下方式查询 XID 健康检查相关指标。 * 方式一：查询 ECS GPU 资源禁止调度相关指标。 ```Go kube_node_status_capacity{node!~"vci.*", resource=~"nvidia_com_gpu|vke_volcengine_com_mgpu_core"} - kube_node_status_allocatable{node!~"vci.*", resource=~"nvidia_com_gpu|vke_volcengine_com_mgpu_core"} > 0 ``` * 方式二：查询 GPU XID 错误相关指标。 ```Go DCGM_EXP_XID_ERRORS_COUNT{node!~"vci.*"} > 0 ``` ### 告警开启 GPU 观测后，您可以在 VMP 控制台中配置 XID 健康检查相关告警。详细的操作，请参见 [创建告警规则](https://www.volcengine.com/docs/6731/159016)。 1. 登录 [VMP 服务控制台](https://console.volcengine.com/prometheus)。 2. 在顶部导航栏，选择目标地域。 3. 在左侧导航栏选择 **告警中心** \> **告警规则**。 4. 在 **告警规则** 页面，选择 **创建** \> **手动创建**，并根据上述观测指标，配置关于 GPU XID 健康检查的告警。详细的参数配置说明，请参见 [创建告警规则](https://www.volcengine.com/docs/6731/159016)。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_421785047b28c999358f3ee9f47158b6.png =913x)