查看监控数据
最近更新时间：2024.04.08 10:49:43
首次发布时间：2022.04.24 15:56:37
消息队列 Kafka版已接入云监控，实例日常运行过程中，您可以在消息队列 Kafka版控制台或云监控控制台直接查看各项监控指标，实时分析实例的运行状态。本文档为您展示消息队列 Kafka版监控数据的查看方式与主要监控指标。
前提条件
查看监控数据前，请提前创建消息队列 Kafka版实例。
通过 Kafka 控制台查看监控数据
- 登录消息队列 Kafka版控制台。
- 在顶部菜单栏中选择实例所在的地域。
- 在实例列表页面中找到指定实例，并单击实例名称。
- 在云监控页签中查看监控数据。
云监控页签中默认展示截止当前时刻 1 天内的监控数据，您也可以指定时间段查看数据。您还可以开启图表联动，查看某一时刻所有监控项的数据值。
页面展示的监控指标包括实例消息生产流量速率、实例消息消费流量速率、实例磁盘使用率等。说明
请确认生产者和消费者已成功接入，否则消费者数、消息数等数据均显示为 0。
通过云监控控制台查看监控数据
您也可以通过云监控控制台查看监控数据，监控项与 Kafka 控制台中完全一致。
- 登录云监控控制台。
- 在左侧导航栏中单击云产品监控，并在中间件区域中选择消息队列 Kafka版。
页面中展示当前的告警概况、资源数量分布和实例列表，实例列表中展示各个实例的状态、主题数量、消费组数量、消息生产流量速率和消息消费流量速率。 - 单击实例名称，进入该实例的监控数据页面。
监控指标说明
说明
- 监控指标表中的单位均为基础单位，各监控的具体单位请以控制台为准。控制台上展示的单位会根据监控数值按照一定的换算标准灵活调整，例如，消息生产流量速率的基础单位为 Byte/s，若消息生产流量速率的监控数值已达到了每秒数 KiB、MiB 或 GiB，控制台上的单位可能会调整为 KiB/s、MiB/s 或 GiB/s。
- 数据转储及数据转储-任务页签下的数据为 Kafka Connector 相关监控数据；数据同步页签下的数据为 Kafka 数据同步功能相关的监控数据。这些功能目前为邀测状态，若您有相关的业务需求，可以通过工单系统联系技术支持申请白名单权限。
实例
消息队列 Kafka版在实例维度支持以下监控指标。
监控项 ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
CpuUtil | CPU使用率 | % | 实例各节点中 CPU 占用率的最大值。 |
MemUtil | 内存使用率 | % | 实例各节点中内存使用率的最大值。 |
CapUtil | 磁盘使用率 | % | 实例的整体磁盘使用率。 |
MaxDiskUtil | 实例最大磁盘使用率 | % | 当前时刻，实例所有节点磁盘使用率中的最大值。 |
DiskSkewness | 磁盘倾斜率 | % | 统计数据在磁盘上分布的不均衡度。统计方式为 (MaxBrokerCap - MinBrokerCap) / MaxBrokerCap。 |
TopicDataSizeTop10 | Topic磁盘使用量Top10 | Count | 实例中，磁盘使用量 Top10 的 Topic。 |
MsgProductionRate | 消息生产速率 | Bytes/s | 实例每秒钟写入的数据量。 |
MsgConsumptionRate | 消息消费速率 | Bytes/s | 实例每秒钟读出的数据量。 |
ConnectionsPerIP | IP连接数Top5 | Count | 实例下连接数 Top 5 的客户端 IP。 |
ProductionRatePercent | 生产带宽百分比 | % | 统计实例的消息生产的网络带宽利用率。统计方式为 ProduceRate / SpecBandwidth。 |
ConsumptionRatePercent | 消费带宽百分比 | % | 统计实例的消息消费的网络带宽利用率。统计方式为 ConsumeRate / SpecBandwidth。 |
ReqProductionCount | 消息生产次数 | Count | 统计实例生产请求的次数。 |
MsgProductionCount | 消息生产条数 | Count | 统计实例生产消息的总条数。 |
ReqConsumptionCount | 消息消费次数 | Count | 统计实例消费请求次数。 |
ProductionRequestMeanTime | 消息生产平均耗时 | μs | 统计实例生产请求的平均耗时。 |
ConsumptionRequestMeanTime | 消息消费平均耗时 | μs | 统计实例消费请求的平均耗时。 |
ProductionRequestP99Time | 消息生产P99耗时 | μs | 统计实例生产请求的 P99 耗时。 |
ConsumptionRequestP99Time | 消息消费P99耗时 | μs | 统计实例消费请求的 P99 耗时。 |
ConnectionsCount | 实例连接数 | Count | 统计客户端和服务器的 TCP 连接总数。 |
BrokerOnlineRate | 节点在线率 | % | 统计状态正常的实例节点比例。 |
节点
消息队列 Kafka版在节点（Broker）维度支持以下监控指标。
监控项 ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
CpuUtil | CPU使用率 | % | 节点 CPU 占用率。 |
MemUtil | 内存使用率 | % | 节点内存使用率。 |
DiskUtil | 磁盘使用率 | % | 节点的磁盘使用率。 |
MsgProductionRate | 消息生产速率 | Bytes/s | 节点每秒钟写入的数据量。 |
MsgConsumptionRate | 消息消费速率 | Bytes/s | 节点每秒钟读出的数据量。 |
ProductionRequestMeanTime | 消息生产平均耗时 | μs | 节点生产请求的平均耗时。 |
ConsumptionRequestMeanTime | 消息消费平均耗时 | μs | 节点消费请求的平均耗时。 |
ProductionRequestP99Time | 消息生产P99耗时 | μs | 节点生产请求的 P99 耗时。 |
ConsumptionRequestP99Time | 消息消费P99耗时 | μs | 节点消费请求的 P99 耗时。 |
ConnectionsCount | 节点连接数 | Count | 客户端和指定节点的 TCP 连接数量。 |
主题
消息队列 Kafka版在主题（Topic）维度支持以下监控指标。
监控项ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
MsgProductionRate | 消息生产速率 | Byte/s | 统计 Topic 的消息生产流量。 |
MsgConsumptionRate | 消息消费速率 | Byte/s | 统计 Topic 的消息消费流量。 |
ReqProductionCount | 消息生产次数 | Count | 统计 Topic 生产请求的次数。 |
MsgProductionCount | 消息生产条数 | Count | 统计 Topic 生产消息的总条数。 |
ReqConsumptionCount | 消息消费次数 | Count | 统计 Topic 消费请求次数，包含副本同步的请求。 |
TopicDataSize | Topic数据大小 | Bytes | 统计 Topic 的数据大小，包含所有副本数据。 |
消费组
消息队列 Kafka版在消费组（Group）维度支持以下监控指标。
监控项ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
GroupMsgAccum | 消费组消息堆积量 | Count | 统计指定消费组未消费的消息总数。若消息堆积量过大，可能会存在消息丢失的问题。 |
消费组主题
消息队列 Kafka版在消费组-主题维度支持以下监控指标。
监控项ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
TopicMsgAccum | Topic消息堆积量 | Count | 指定消费组订阅的每个Topic中未消费的消息数。 |
数据转储
消息队列 Kafka版在数据转储维度支持以下监控指标。
监控项ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
TotalTaskCount | 转储任务统计 | Count | 已创建的 Connector 任务总数。 |
TotalSubTaskCount | 转储子任务统计 | Count | 已创建的 Connector 子任务总数。 |
数据转储-任务
消息队列 Kafka版在数据转储-任务维度支持以下监控指标。
监控项ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
ConnectorTaskStatus | 任务状态 | Count | 指定 Connctor 任务的状态。
|
ConnectorSubTaskStatus | 子任务状态 | Count | 指定 Connctor 任务中，每个子任务的状态。
|
MsgReadRate | 读速率 | Count/s | 每个 Connector 子任务从数据源读取消息的速度。 |
MsgWriteRate | 写速率 | Count/s | 每个 Connector 子任务发送消息到目的端的速度。 |
MsgAccumCount | 滞留消息数 | Count | 每个 Connector 子任务已经读取到但还未发送的消息数。 |
数据同步
消息队列 Kafka版在数据同步维度支持以下监控指标。
监控项 ID | 监控项名称 | 单位 | 说明 |
|---|---|---|---|
DataSyncTaskStatus | 任务状态 | Count | 指定数据同步任务的状态。
|
DataSyncSubTaskStatus | 子任务状态 | Count | 指定数据同步任务中，每个子任务的状态。
|
DataSyncMsgReadRate | 读速率 | Count/s | 每个数据同步子任务从数据源读取消息的速度。 |
DataSyncMsgWriteRate | 写速率 | Count/s | 每个数据同步子任务发送消息到目的端的速度。 |
DataSyncMsgAccumCount | 滞留消息数 | Count | 每个数据同步子任务已经读取到但还未发送的消息数。 |
主题-TopN
以 Topic 为维度，展示流量和存储的 TopN 信息，包括消息生产速率、消息生产条数、消息生产次数和 Topic 数据大小。
- 支持设置不同时间范围，查看该时间段内的 TopN 信息。
- 默认展示排名前 20 的数据，支持升序和降序排列。
消费组-TopN
以 Group 为维度，展示消费组消息堆积的 TopN 信息。
- 支持设置不同时间范围，查看该时间段内的 TopN 信息。
- 默认展示排名前 20 的数据，支持升序和降序排列。