You need to enable JavaScript to run this app.
导航
查看监控数据
最近更新时间:2024.05.21 16:05:03首次发布时间:2022.04.24 15:56:37

消息队列 Kafka版已接入云监控,实例日常运行过程中,您可以在消息队列 Kafka版控制台或云监控控制台直接查看各项监控指标,实时分析实例的运行状态。本文档为您展示消息队列 Kafka版监控数据的查看方式与主要监控指标。

前提条件

查看监控数据前,请提前创建消息队列 Kafka版实例。

通过 Kafka 控制台查看监控数据

  1. 登录消息队列 Kafka版控制台
  2. 在顶部菜单栏中选择实例所在的地域。
  3. 实例列表页面中找到指定实例,并单击实例名称。
  4. 云监控页签中查看监控数据。
    云监控页签中默认展示截止当前时刻 1 天内的监控数据,您也可以指定时间段查看数据。您还可以开启图表联动,查看某一时刻所有监控项的数据值。
    页面展示的监控指标包括实例消息生产流量速率、实例消息消费流量速率、实例磁盘使用率等。

    说明

    请确认生产者和消费者已成功接入,否则消费者数、消息数等数据均显示为 0。

通过云监控控制台查看监控数据

您也可以通过云监控控制台查看监控数据,监控项与 Kafka 控制台中完全一致。

  1. 登录云监控控制台
  2. 在左侧导航栏中单击云产品监控,并在中间件区域中选择消息队列 Kafka版
    页面中展示当前的告警概况、资源数量分布和实例列表,实例列表中展示各个实例的状态、主题数量、消费组数量、消息生产流量速率和消息消费流量速率。
  3. 单击实例名称,进入该实例的监控数据页面。

监控指标说明

说明

  • 监控指标表中的单位均为基础单位,各监控的具体单位请以控制台为准。控制台上展示的单位会根据监控数值按照一定的换算标准灵活调整,例如,消息生产流量速率的基础单位为 Byte/s,若消息生产流量速率的监控数值已达到了每秒数 KiB、MiB 或 GiB,控制台上的单位可能会调整为 KiB/s、MiB/s 或 GiB/s。
  • 数据转储数据转储-任务页签下的数据为 Kafka Connector 相关监控数据;数据同步页签下的数据为 Kafka 数据同步功能相关的监控数据。这些功能目前为邀测状态,若您有相关的业务需求,可以通过工单系统联系技术支持申请白名单权限。

实例

消息队列 Kafka版在实例维度支持以下监控指标。

监控项 ID

监控项名称

单位

说明

CpuUtil

CPU使用率

%

实例各节点中 CPU 占用率的最大值。

MemUtil

内存使用率

%

实例各节点中内存使用率的最大值。

CapUtil

磁盘使用率

%

实例的整体磁盘使用率。

MaxDiskUtil

实例最大磁盘使用率

%

当前时刻,实例所有节点磁盘使用率中的最大值。

DiskSkewness

磁盘倾斜率

%

统计数据在磁盘上分布的不均衡度。统计方式为 (MaxBrokerCap - MinBrokerCap) / MaxBrokerCap。

TopicDataSizeTop10

Topic磁盘使用量Top10

Count

实例中,磁盘使用量 Top10 的 Topic。

MsgProductionRate

消息生产速率

Bytes/s

实例每秒钟写入的数据量。

MsgConsumptionRate

消息消费速率

Bytes/s

实例每秒钟读出的数据量。

ConnectionsPerIP

IP连接数Top5

Count

实例下连接数 Top 5 的客户端 IP。

ProductionRatePercent

生产带宽百分比

%

统计实例的消息生产的网络带宽利用率。统计方式为 ProduceRate / SpecBandwidth。

ConsumptionRatePercent

消费带宽百分比

%

统计实例的消息消费的网络带宽利用率。统计方式为 ConsumeRate / SpecBandwidth。

ReqProductionCount

消息生产次数

Count

统计实例生产请求的次数。

MsgProductionCount

消息生产条数

Count

统计实例生产消息的总条数。

ReqConsumptionCount

消息消费次数

Count

统计实例消费请求次数。

ProductionRequestMeanTime

消息生产平均耗时

μs

统计实例生产请求的平均耗时。

ConsumptionRequestMeanTime

消息消费平均耗时

μs

统计实例消费请求的平均耗时。

ProductionRequestP99Time

消息生产P99耗时

μs

统计实例生产请求的 P99 耗时。

ConsumptionRequestP99Time

消息消费P99耗时

μs

统计实例消费请求的 P99 耗时。

ConnectionsCount

实例连接数

Count

统计客户端和服务器的 TCP 连接总数。

BrokerOnlineRate

节点在线率

%

统计状态正常的实例节点比例。

节点

消息队列 Kafka版在节点(Broker)维度支持以下监控指标。

监控项 ID

监控项名称

单位

说明

CpuUtil

CPU使用率

%

节点 CPU 占用率。

MemUtil

内存使用率

%

节点内存使用率。

DiskUtil

磁盘使用率

%

节点的磁盘使用率。

MsgProductionRate

消息生产速率

Bytes/s

节点每秒钟写入的数据量。

MsgConsumptionRate

消息消费速率

Bytes/s

节点每秒钟读出的数据量。

ProductionRequestMeanTime

消息生产平均耗时

μs

节点生产请求的平均耗时。

ConsumptionRequestMeanTime

消息消费平均耗时

μs

节点消费请求的平均耗时。

ProductionRequestP99Time

消息生产P99耗时

μs

节点生产请求的 P99 耗时。

ConsumptionRequestP99Time

消息消费P99耗时

μs

节点消费请求的 P99 耗时。

ConnectionsCount

节点连接数

Count

客户端和指定节点的 TCP 连接数量。

主题

消息队列 Kafka版在主题(Topic)维度支持以下监控指标。

监控项ID

监控项名称

单位

说明

MsgProductionRate

消息生产速率

Byte/s

统计 Topic 的消息生产流量。

MsgConsumptionRate

消息消费速率

Byte/s

统计 Topic 的消息消费流量。

ReqProductionCount

消息生产次数

Count

统计 Topic 生产请求的次数。

MsgProductionCount

消息生产条数

Count

统计 Topic 生产消息的总条数。

ReqConsumptionCount

消息消费次数

Count

统计 Topic 消费请求次数,包含副本同步的请求。

TopicDataSize

Topic数据大小

Bytes

统计 Topic 的数据大小,包含所有副本数据。

消费组

消息队列 Kafka版在消费组(Group)维度支持以下监控指标。

监控项ID

监控项名称

单位

说明

GroupConsumptionRate

消费组消费速率

Count/min

消费组消费消息的速度,单位为消费条数/分钟。

GroupMsgAccum

消费组消息堆积量

Count

统计指定消费组未消费的消息总数。若消息堆积量过大,可能会存在消息丢失的问题。

消费组主题

消息队列 Kafka版在消费组-主题维度支持以下监控指标。

监控项ID

监控项名称

单位

说明

TopicConsumptionRate

Topic消费速率

Count/min

指定消费组,查看订阅的每个Topic中消费消息的速度,单位为消费条数/分钟。

TopicMsgAccum

Topic消息堆积量

Count

指定消费组,查看订阅的每个Topic中未消费的消息数。
该指标仅用于云监控控制台可视化展示,如需根据此指标进行告警,推荐使用分区堆积维度下的分区消息堆积量指标。

数据转储

消息队列 Kafka版在数据转储维度支持以下监控指标。

监控项ID

监控项名称

单位

说明

TotalTaskCount

转储任务统计

Count

已创建的 Connector 任务总数。

TotalSubTaskCount

转储子任务统计

Count

已创建的 Connector 子任务总数。

数据转储-任务

消息队列 Kafka版在数据转储-任务维度支持以下监控指标。

监控项ID

监控项名称

单位

说明

ConnectorTaskStatus

任务状态

Count

指定 Connctor 任务的状态。

  • 1:运行中
  • 2:暂停
  • 3:错误

ConnectorSubTaskStatus

子任务状态

Count

指定 Connctor 任务中,每个子任务的状态。

  • 1:运行中
  • 2:暂停
  • 3:错误

MsgReadRate

读速率

Count/s

每个 Connector 子任务从数据源读取消息的速度。

MsgWriteRate

写速率

Count/s

每个 Connector 子任务发送消息到目的端的速度。

MsgAccumCount

滞留消息数

Count

每个 Connector 子任务已经读取到但还未发送的消息数。

数据同步

消息队列 Kafka版在数据同步维度支持以下监控指标。

监控项 ID

监控项名称

单位

说明

DataSyncTaskStatus

任务状态

Count

指定数据同步任务的状态。

  • 1:运行中
  • 2:暂停
  • 3:错误

DataSyncSubTaskStatus

子任务状态

Count

指定数据同步任务中,每个子任务的状态。

  • 1:运行中
  • 2:暂停
  • 3:错误

DataSyncMsgReadRate

读速率

Count/s

每个数据同步子任务从数据源读取消息的速度。

DataSyncMsgWriteRate

写速率

Count/s

每个数据同步子任务发送消息到目的端的速度。

DataSyncMsgAccumCount

滞留消息数

Count

每个数据同步子任务已经读取到但还未发送的消息数。

主题-TopN

以 Topic 为维度,展示流量和存储的 TopN 信息,包括消息生产速率、消息生产条数、消息生产次数和 Topic 数据大小。

  • 支持设置不同时间范围,查看该时间段内的 TopN 信息。
  • 默认展示排名前 20 的数据,支持升序和降序排列。

图片

消费组-TopN

以 Group 为维度,展示消费组消息堆积的 TopN 信息。

  • 支持设置不同时间范围,查看该时间段内的 TopN 信息。
  • 默认展示排名前 20 的数据,支持升序和降序排列。

图片