You need to enable JavaScript to run this app.
导航
Celeborn 监控指标
最近更新时间:2024.03.15 15:57:10首次发布时间:2024.01.29 17:59:46

本文为您介绍Celeborn指标的详细信息。
Celeborn指标包含以下部分:

Celeborn-概览

纬度监控指标名称单位

服务概览

Celeborn 存活 Worker 数量

Celeborn 丢失心跳 Worker 数量
Celeborn 异常 Worker 数量
Celeborn 当前正在进行的Shuffle 数量
Celeborn 当前正在运行的App 数量
Celeborn Partition 平均大小MB
Celeborn Partition 写入总大小MB
Celeborn Partition 文件数量

Celeborn Master

纬度监控指标名称单位
Active MasterCeleborn 是否为 Active Master节点
OfferSlotsCeleborn OfferSlots 次数
Celeborn OfferSlots 耗时最大值ms
Celeborn OfferSlots 耗时平均值ms
Celeborn OfferSlots 耗时最小值ms
Celeborn OfferSlots 耗时 P50ms
Celeborn OfferSlots 耗时 P75ms
Celeborn OfferSlots 耗时 P90ms
Celeborn OfferSlots 耗时 P98ms
Celeborn OfferSlots 耗时 P99ms
Celeborn OfferSlots 耗时 P999ms

JVM 内存指标

Celeborn Master 堆提交量

MB

Celeborn Master Heap 使用率%
Celeborn Master Heap 使用大小MB
Celeborn Master 最大堆大小MB
Celeborn Master 非堆内存使用大小MB
Celeborn Worker 非堆内存Committed大小MB
Celeborn Master Young GC 次数
Celeborn Master Young GC 耗时ms
Celeborn Master Full GC 次数
Celeborn Master Full GC 耗时ms
Direct 内存指标Celeborn Master Direct 内存块数量
Celeborn Master Direct 内存容量MB
Celeborn Master Direct 内存使用量MB

Mapped 内存指标

Celeborn Master Mapped 内存块数量

Celeborn Master Mapped 内存容量MB
Celeborn Master Mapped 内存使用量MB
系统指标Celeborn Master JVM CPU Timems
Celeborn Master 最近一分钟所在机器CPU使用率%
Celeborn Master 所在机器可用核数

Celeborn Worker

纬度监控指标名称单位
活跃 Shuffle 指标Celeborn Worker 当前连接数量
Celeborn Worker 注册的Shuffle数量
Celeborn Worker 当前活跃的Shuffle数据大小MB
Celeborn Worker 当前活跃的Shuffle文件数量
Celeborn Worker 当前活跃的MapPartition文件数量
数据写入失败统计Celeborn Worker 写失败数量
主文件写失败请求统计Celeborn Worker Flink开始写Region失败数量
Celeborn Worker Flink结束写Region失败数量
PushData过程中Handshake失败的数量
PrimaryPushDataCeleborn PrimaryPushData 次数
Celeborn PrimaryPushData 耗时最大值ms
Celeborn PrimaryPushData 耗时平均值ms
Celeborn PrimaryPushData 耗时最小值ms
Celeborn PrimaryPushData 耗时 P50ms
Celeborn PrimaryPushData 耗时 P75ms
Celeborn PrimaryPushData 耗时 P95ms
Celeborn PrimaryPushData 耗时 P98ms
Celeborn PrimaryPushData 耗时 P99ms
Celeborn PrimaryPushData 耗时 P999ms
PrimaryPushDataHandshakeCeleborn PrimaryPushDataHandshake 次数

Celeborn PrimaryPushDataHandshake 耗时最大值

ms

Celeborn PrimaryPushDataHandshake 耗时平均值ms
Celeborn PrimaryPushDataHandshake 耗时最小值ms
Celeborn PrimaryPushDataHandshake 耗时 P50ms
Celeborn PrimaryPushDataHandshake 耗时 P75ms
Celeborn PrimaryPushDataHandshake 耗时 P95ms
Celeborn PrimaryPushDataHandshake 耗时 P98ms
Celeborn PrimaryPushDataHandshake 耗时 P99ms
Celeborn PrimaryPushDataHandshake 耗时 P999ms
PrimaryRegionFinishCeleborn PrimaryRegionFinish 次数
Celeborn PrimaryRegionFinish 耗时最大值ms
Celeborn PrimaryRegionFinish 耗时平均值ms
Celeborn PrimaryRegionFinish 耗时最小值ms
Celeborn PrimaryRegionFinish 耗时 P50ms
Celeborn PrimaryRegionFinish 耗时 P75ms
Celeborn PrimaryRegionFinish 耗时 P95ms
Celeborn PrimaryRegionFinish 耗时 P98ms
Celeborn PrimaryRegionFinish 耗时 P99ms
Celeborn PrimaryRegionFinish 耗时 P999ms
PrimaryRegionStartCeleborn PrimaryRegionStart 次数
Celeborn PrimaryRegionStart 耗时最大值ms
Celeborn PrimaryRegionStart 耗时平均值ms
Celeborn PrimaryRegionStart 耗时最小值ms
Celeborn PrimaryRegionStart 耗时 P50ms
Celeborn PrimaryRegionStart 耗时 P75ms
Celeborn PrimaryRegionStart 耗时 P95ms
Celeborn PrimaryRegionStart 耗时 P98ms
Celeborn PrimaryRegionStart 耗时 P99ms
Celeborn PrimaryRegionStart 耗时 P999ms
副本数据读取次数Celeborn 读取副本数据次数

副本失败请求统计

Celeborn ReplicateDataWriteFail 次数

Celeborn ReplicateDataConnectionException 次数
Celeborn ReplicateDataCreateConnectionFail 次数
Celeborn ReplicateDataTimeout 次数

ReplicaPushDataHandshake

Celeborn ReplicaPushDataHandshake 次数

Celeborn ReplicaPushDataHandshake 耗时最大值ms
Celeborn ReplicaPushDataHandshake 耗时平均值ms
Celeborn ReplicaPushDataHandshake 耗时最小值ms
Celeborn ReplicaPushDataHandshake 耗时 P50ms
Celeborn ReplicaPushDataHandshake 耗时 P75ms
Celeborn ReplicaPushDataHandshake 耗时 P95ms
Celeborn ReplicaPushDataHandshake 耗时 P98ms
Celeborn ReplicaPushDataHandshake 耗时 P99ms
Celeborn ReplicaPushDataHandshake 耗时 P999ms
ReplicaRegionFinishCeleborn ReplicaRegionFinish 次数
Celeborn ReplicaRegionFinish 耗时最大值ms
Celeborn ReplicaRegionFinish 耗时平均值ms
Celeborn ReplicaRegionFinish 耗时最小值ms
Celeborn ReplicaRegionFinish 耗时 P50ms
Celeborn ReplicaRegionFinish 耗时 P75ms
Celeborn ReplicaRegionFinish 耗时 P95ms
Celeborn ReplicaRegionFinish 耗时 P98ms
Celeborn ReplicaRegionFinish 耗时 P99ms
Celeborn ReplicaRegionFinish 耗时 P999ms
ReplicaRegionStartCeleborn ReplicaRegionStart 次数
Celeborn ReplicaRegionStart 耗时最大值ms
Celeborn ReplicaRegionStart 耗时平均值ms
Celeborn ReplicaRegionStart 耗时最小值ms
Celeborn ReplicaRegionStart 耗时 P50ms
Celeborn ReplicaRegionStart 耗时 P75ms
Celeborn ReplicaRegionStart 耗时 P95ms
Celeborn ReplicaRegionStart 耗时 P98ms
Celeborn ReplicaRegionStart 耗时 P99ms
Celeborn ReplicaRegionStart 耗时 P999ms
ReplicaPushDataCeleborn ReplicaPushData 次数
Celeborn ReplicaPushData 耗时最大值ms
Celeborn ReplicaPushData 耗时平均值ms
Celeborn ReplicaPushData 耗时最小值ms
Celeborn ReplicaPushData 耗时 P50ms
Celeborn ReplicaPushData 耗时 P75ms
Celeborn ReplicaPushData 耗时 P95ms
Celeborn ReplicaPushData 耗时 P98ms
Celeborn ReplicaPushData 耗时 P99ms
Celeborn ReplicaPushData 耗时 P999ms
CommitFilesCeleborn CommitFiles 次数
Celeborn CommitFiles 耗时最大值ms
Celeborn CommitFiles 耗时平均值ms
Celeborn CommitFiles 耗时最小值ms
Celeborn CommitFiles 耗时 P50ms
Celeborn CommitFiles 耗时 P75ms
Celeborn CommitFiles 耗时 P95ms
Celeborn CommitFiles 耗时 P98ms
Celeborn CommitFiles 耗时 P99ms
Celeborn CommitFiles 耗时 P999ms
CreditStreamCeleborn CreditStream 次数
FetchChunkCeleborn FetchChunk 次数
Celeborn FetchChunk 耗时最大值ms
Celeborn FetchChunk 耗时平均值ms
Celeborn FetchChunk 耗时最小值ms
Celeborn FetchChunk 耗时 P50ms
Celeborn FetchChunk 耗时 P75ms
Celeborn FetchChunk 耗时 P95ms
Celeborn FetchChunk 耗时 P98ms
Celeborn FetchChunk 耗时 P99ms
Celeborn FetchChunk 耗时 P999ms
OpenStreamCeleborn OpenStream 次数
Celeborn OpenStream 耗时最大值ms
Celeborn OpenStream 耗时平均值ms
Celeborn OpenStream 耗时最小值ms
Celeborn OpenStream 耗时 P50ms
Celeborn OpenStream 耗时 P75ms
Celeborn OpenStream 耗时 P95ms
Celeborn OpenStream 耗时 P98ms
Celeborn OpenStream 耗时 P99ms
Celeborn OpenStream 耗时 P999ms
Pause信息Celeborn PausePushData 次数
Celeborn PausePushDataAndReplicate 次数
Celeborn PausePushData 耗时ms

Slots信息

Celeborn 过去一小时分配的 Slots 数量

Celeborn ReserveSlots 次数
Celeborn ReserveSlots 耗时最大值ms
Celeborn ReserveSlots 耗时平均值ms
Celeborn ReserveSlots 耗时最小值ms
Celeborn ReserveSlots 耗时 P50ms
Celeborn ReserveSlots 耗时 P75ms
Celeborn ReserveSlots 耗时 P95ms
Celeborn ReserveSlots 耗时 P98ms
Celeborn ReserveSlots 耗时 P99ms
Celeborn ReserveSlots 耗时 P999ms
Shuffle Sort信息Celeborn 当前内存中为需要排序的Shuffle文件预留的内存资源MB
Celeborn 正在或者准备在进行排序的Shuffle文件
Celeborn 已经排序过的Shuffle文件的数量
Celeborn 已经排序过的Shuffle文件的大小MB
Celeborn 排序Shuffle文件次数
Celeborn 排序Shuffle消耗时间最大值ms
Celeborn 排序Shuffle消耗时间平均值ms
Celeborn 排序Shuffle消耗时间最小值ms
Celeborn 排序 Shuffle 文件耗时 P50ms
Celeborn 排序 Shuffle 文件耗时 P75ms
Celeborn 排序 Shuffle 文件耗时 P95ms
Celeborn 排序 Shuffle 文件耗时 P98ms
Celeborn 排序 Shuffle 文件耗时 P99ms
Celeborn 排序 Shuffle 文件耗时 P999ms
Flush指标Celeborn 待写入磁盘的Shuffle数据大小MB
Celeborn FlushData 次数
Celeborn FlushData 耗时最大值ms
Celeborn FlushData 耗时平均值ms
Celeborn FlushData 耗时最小值ms
Celeborn FlushData 耗时 P50ms
Celeborn FlushData 耗时 P75ms
Celeborn FlushData 耗时 P95ms
Celeborn FlushData 耗时 P98ms
Celeborn FlushData 耗时 P99ms
Celeborn FlushData 耗时 P999ms
Celeborn TakeBuffer 次数
Celeborn TakeBuffer 耗时最大值ms
Celeborn TakeBuffer 耗时平均值ms
Celeborn TakeBuffer 耗时最小值ms
Celeborn TakeBuffer 耗时 P50ms
Celeborn TakeBuffer 耗时 P75ms
Celeborn TakeBuffer 耗时 P95ms
Celeborn TakeBuffer 耗时 P98ms
Celeborn TakeBuffer 耗时 P99ms
Celeborn TakeBuffer 耗时 P999ms
磁盘信息Celeborn 总计磁盘容量MB
Celeborn 空闲磁盘容量MB
Celeborn 配置的可用磁盘容量MB
Celeborn 配置的可用磁盘容量中的剩余容量MB

Netty内存使用

Celeborn Netty使用的直接内存大小

MB

Celeborn Netty为读取分配的Pooled ByteBuf大小MB
Celeborn Netty 正在请求Buffer内存的请求数量
Celeborn Netty为读取分配的Pooled ByteBuf数量
JVM内存指标Celeborn Worker 堆提交量MB
Celeborn Worker Heap 使用率%
Celeborn Worker Heap 使用大小MB
Celeborn Worker 最大堆大小MB
Celeborn Worker 非堆内存使用大小MB
Celeborn Worker 非堆内存Committed大小MB
JVM GC指标Celeborn Worker Young GC 次数
Celeborn Worker Young GC 耗时ms
Celeborn Worker Young GC 次数
Celeborn Worker Young GC 耗时ms
Direct 内存指标Celeborn Worker Direct 内存块数量
Celeborn Worker Direct 内存容量MB
Celeborn Worker Direct 内存使用量MB
Mapped 内存指标Celeborn Worker Mapped 内存块数量
Celeborn Worker Mapped 内存容量MB
Celeborn Worker Mapped 内存使用量MB
系统指标Celeborn Worker JVM CPU Timems
Celeborn Worker 最近一分钟所在机器CPU使用率%
Celeborn Worker 所在机器可用核数