Celeborn 监控指标--E-MapReduce-火山引擎

文档中心

导航

Celeborn 监控指标

最近更新时间：2024.03.15 15:57:10首次发布时间：2024.01.29 17:59:46

本文为您介绍Celeborn指标的详细信息。
Celeborn指标包含以下部分：

概览
Celeborn Master
Celeborn Worker

Celeborn-概览

纬度	监控指标名称	单位
服务概览	Celeborn 存活 Worker 数量	个
	Celeborn 丢失心跳 Worker 数量	个
	Celeborn 异常 Worker 数量	个
	Celeborn 当前正在进行的Shuffle 数量	个
	Celeborn 当前正在运行的App 数量	个
	Celeborn Partition 平均大小	MB
	Celeborn Partition 写入总大小	MB
	Celeborn Partition 文件数量	个

Celeborn Master

纬度	监控指标名称	单位
Active Master	Celeborn 是否为 Active Master节点	次
OfferSlots	Celeborn OfferSlots 次数	次
	Celeborn OfferSlots 耗时最大值	ms
	Celeborn OfferSlots 耗时平均值	ms
	Celeborn OfferSlots 耗时最小值	ms
	Celeborn OfferSlots 耗时 P50	ms
	Celeborn OfferSlots 耗时 P75	ms
	Celeborn OfferSlots 耗时 P90	ms
	Celeborn OfferSlots 耗时 P98	ms
	Celeborn OfferSlots 耗时 P99	ms
	Celeborn OfferSlots 耗时 P999	ms
JVM 内存指标	Celeborn Master 堆提交量	MB
	Celeborn Master Heap 使用率	%
	Celeborn Master Heap 使用大小	MB
	Celeborn Master 最大堆大小	MB
	Celeborn Master 非堆内存使用大小	MB
	Celeborn Worker 非堆内存Committed大小	MB
	Celeborn Master Young GC 次数	次
	Celeborn Master Young GC 耗时	ms
	Celeborn Master Full GC 次数	次
	Celeborn Master Full GC 耗时	ms
Direct 内存指标	Celeborn Master Direct 内存块数量	个
	Celeborn Master Direct 内存容量	MB
	Celeborn Master Direct 内存使用量	MB
Mapped 内存指标	Celeborn Master Mapped 内存块数量	个
	Celeborn Master Mapped 内存容量	MB
	Celeborn Master Mapped 内存使用量	MB
系统指标	Celeborn Master JVM CPU Time	ms
	Celeborn Master 最近一分钟所在机器CPU使用率	%
	Celeborn Master 所在机器可用核数	个

Celeborn Worker

纬度	监控指标名称	单位
活跃 Shuffle 指标	Celeborn Worker 当前连接数量	个
	Celeborn Worker 注册的Shuffle数量	个
	Celeborn Worker 当前活跃的Shuffle数据大小	MB
	Celeborn Worker 当前活跃的Shuffle文件数量	个
	Celeborn Worker 当前活跃的MapPartition文件数量	个
数据写入失败统计	Celeborn Worker 写失败数量	个
主文件写失败请求统计	Celeborn Worker Flink开始写Region失败数量	个
	Celeborn Worker Flink结束写Region失败数量	个
	PushData过程中Handshake失败的数量	个
PrimaryPushData	Celeborn PrimaryPushData 次数	个
	Celeborn PrimaryPushData 耗时最大值	ms
	Celeborn PrimaryPushData 耗时平均值	ms
	Celeborn PrimaryPushData 耗时最小值	ms
	Celeborn PrimaryPushData 耗时 P50	ms
	Celeborn PrimaryPushData 耗时 P75	ms
	Celeborn PrimaryPushData 耗时 P95	ms
	Celeborn PrimaryPushData 耗时 P98	ms
	Celeborn PrimaryPushData 耗时 P99	ms
	Celeborn PrimaryPushData 耗时 P999	ms
PrimaryPushDataHandshake	Celeborn PrimaryPushDataHandshake 次数	次
	Celeborn PrimaryPushDataHandshake 耗时最大值	ms
	Celeborn PrimaryPushDataHandshake 耗时平均值	ms
	Celeborn PrimaryPushDataHandshake 耗时最小值	ms
	Celeborn PrimaryPushDataHandshake 耗时 P50	ms
	Celeborn PrimaryPushDataHandshake 耗时 P75	ms
	Celeborn PrimaryPushDataHandshake 耗时 P95	ms
	Celeborn PrimaryPushDataHandshake 耗时 P98	ms
	Celeborn PrimaryPushDataHandshake 耗时 P99	ms
	Celeborn PrimaryPushDataHandshake 耗时 P999	ms
PrimaryRegionFinish	Celeborn PrimaryRegionFinish 次数	次
	Celeborn PrimaryRegionFinish 耗时最大值	ms
	Celeborn PrimaryRegionFinish 耗时平均值	ms
	Celeborn PrimaryRegionFinish 耗时最小值	ms
	Celeborn PrimaryRegionFinish 耗时 P50	ms
	Celeborn PrimaryRegionFinish 耗时 P75	ms
	Celeborn PrimaryRegionFinish 耗时 P95	ms
	Celeborn PrimaryRegionFinish 耗时 P98	ms
	Celeborn PrimaryRegionFinish 耗时 P99	ms
	Celeborn PrimaryRegionFinish 耗时 P999	ms
PrimaryRegionStart	Celeborn PrimaryRegionStart 次数	次
	Celeborn PrimaryRegionStart 耗时最大值	ms
	Celeborn PrimaryRegionStart 耗时平均值	ms
	Celeborn PrimaryRegionStart 耗时最小值	ms
	Celeborn PrimaryRegionStart 耗时 P50	ms
	Celeborn PrimaryRegionStart 耗时 P75	ms
	Celeborn PrimaryRegionStart 耗时 P95	ms
	Celeborn PrimaryRegionStart 耗时 P98	ms
	Celeborn PrimaryRegionStart 耗时 P99	ms
	Celeborn PrimaryRegionStart 耗时 P999	ms
副本数据读取次数	Celeborn 读取副本数据次数	次
副本失败请求统计	Celeborn ReplicateDataWriteFail 次数	个
	Celeborn ReplicateDataConnectionException 次数	个
	Celeborn ReplicateDataCreateConnectionFail 次数	个
	Celeborn ReplicateDataTimeout 次数	个
ReplicaPushDataHandshake	Celeborn ReplicaPushDataHandshake 次数	次
	Celeborn ReplicaPushDataHandshake 耗时最大值	ms
	Celeborn ReplicaPushDataHandshake 耗时平均值	ms
	Celeborn ReplicaPushDataHandshake 耗时最小值	ms
	Celeborn ReplicaPushDataHandshake 耗时 P50	ms
	Celeborn ReplicaPushDataHandshake 耗时 P75	ms
	Celeborn ReplicaPushDataHandshake 耗时 P95	ms
	Celeborn ReplicaPushDataHandshake 耗时 P98	ms
	Celeborn ReplicaPushDataHandshake 耗时 P99	ms
	Celeborn ReplicaPushDataHandshake 耗时 P999	ms
ReplicaRegionFinish	Celeborn ReplicaRegionFinish 次数	次
	Celeborn ReplicaRegionFinish 耗时最大值	ms
	Celeborn ReplicaRegionFinish 耗时平均值	ms
	Celeborn ReplicaRegionFinish 耗时最小值	ms
	Celeborn ReplicaRegionFinish 耗时 P50	ms
	Celeborn ReplicaRegionFinish 耗时 P75	ms
	Celeborn ReplicaRegionFinish 耗时 P95	ms
	Celeborn ReplicaRegionFinish 耗时 P98	ms
	Celeborn ReplicaRegionFinish 耗时 P99	ms
	Celeborn ReplicaRegionFinish 耗时 P999	ms
ReplicaRegionStart	Celeborn ReplicaRegionStart 次数	次
	Celeborn ReplicaRegionStart 耗时最大值	ms
	Celeborn ReplicaRegionStart 耗时平均值	ms
	Celeborn ReplicaRegionStart 耗时最小值	ms
	Celeborn ReplicaRegionStart 耗时 P50	ms
	Celeborn ReplicaRegionStart 耗时 P75	ms
	Celeborn ReplicaRegionStart 耗时 P95	ms
	Celeborn ReplicaRegionStart 耗时 P98	ms
	Celeborn ReplicaRegionStart 耗时 P99	ms
	Celeborn ReplicaRegionStart 耗时 P999	ms
ReplicaPushData	Celeborn ReplicaPushData 次数	次
	Celeborn ReplicaPushData 耗时最大值	ms
	Celeborn ReplicaPushData 耗时平均值	ms
	Celeborn ReplicaPushData 耗时最小值	ms
	Celeborn ReplicaPushData 耗时 P50	ms
	Celeborn ReplicaPushData 耗时 P75	ms
	Celeborn ReplicaPushData 耗时 P95	ms
	Celeborn ReplicaPushData 耗时 P98	ms
	Celeborn ReplicaPushData 耗时 P99	ms
	Celeborn ReplicaPushData 耗时 P999	ms
CommitFiles	Celeborn CommitFiles 次数	次
	Celeborn CommitFiles 耗时最大值	ms
	Celeborn CommitFiles 耗时平均值	ms
	Celeborn CommitFiles 耗时最小值	ms
	Celeborn CommitFiles 耗时 P50	ms
	Celeborn CommitFiles 耗时 P75	ms
	Celeborn CommitFiles 耗时 P95	ms
	Celeborn CommitFiles 耗时 P98	ms
	Celeborn CommitFiles 耗时 P99	ms
	Celeborn CommitFiles 耗时 P999	ms
CreditStream	Celeborn CreditStream 次数	个
FetchChunk	Celeborn FetchChunk 次数	次
	Celeborn FetchChunk 耗时最大值	ms
	Celeborn FetchChunk 耗时平均值	ms
	Celeborn FetchChunk 耗时最小值	ms
	Celeborn FetchChunk 耗时 P50	ms
	Celeborn FetchChunk 耗时 P75	ms
	Celeborn FetchChunk 耗时 P95	ms
	Celeborn FetchChunk 耗时 P98	ms
	Celeborn FetchChunk 耗时 P99	ms
	Celeborn FetchChunk 耗时 P999	ms
OpenStream	Celeborn OpenStream 次数	次
	Celeborn OpenStream 耗时最大值	ms
	Celeborn OpenStream 耗时平均值	ms
	Celeborn OpenStream 耗时最小值	ms
	Celeborn OpenStream 耗时 P50	ms
	Celeborn OpenStream 耗时 P75	ms
	Celeborn OpenStream 耗时 P95	ms
	Celeborn OpenStream 耗时 P98	ms
	Celeborn OpenStream 耗时 P99	ms
	Celeborn OpenStream 耗时 P999	ms
Pause信息	Celeborn PausePushData 次数	次
	Celeborn PausePushDataAndReplicate 次数	次
	Celeborn PausePushData 耗时	ms
Slots信息	Celeborn 过去一小时分配的 Slots 数量	个
	Celeborn ReserveSlots 次数	次
	Celeborn ReserveSlots 耗时最大值	ms
	Celeborn ReserveSlots 耗时平均值	ms
	Celeborn ReserveSlots 耗时最小值	ms
	Celeborn ReserveSlots 耗时 P50	ms
	Celeborn ReserveSlots 耗时 P75	ms
	Celeborn ReserveSlots 耗时 P95	ms
	Celeborn ReserveSlots 耗时 P98	ms
	Celeborn ReserveSlots 耗时 P99	ms
	Celeborn ReserveSlots 耗时 P999	ms
Shuffle Sort信息	Celeborn 当前内存中为需要排序的Shuffle文件预留的内存资源	MB
	Celeborn 正在或者准备在进行排序的Shuffle文件	个
	Celeborn 已经排序过的Shuffle文件的数量	个
	Celeborn 已经排序过的Shuffle文件的大小	MB
	Celeborn 排序Shuffle文件次数	次
	Celeborn 排序Shuffle消耗时间最大值	ms
	Celeborn 排序Shuffle消耗时间平均值	ms
	Celeborn 排序Shuffle消耗时间最小值	ms
	Celeborn 排序 Shuffle 文件耗时 P50	ms
	Celeborn 排序 Shuffle 文件耗时 P75	ms
	Celeborn 排序 Shuffle 文件耗时 P95	ms
	Celeborn 排序 Shuffle 文件耗时 P98	ms
	Celeborn 排序 Shuffle 文件耗时 P99	ms
	Celeborn 排序 Shuffle 文件耗时 P999	ms
Flush指标	Celeborn 待写入磁盘的Shuffle数据大小	MB
	Celeborn FlushData 次数	次
	Celeborn FlushData 耗时最大值	ms
	Celeborn FlushData 耗时平均值	ms
	Celeborn FlushData 耗时最小值	ms
	Celeborn FlushData 耗时 P50	ms
	Celeborn FlushData 耗时 P75	ms
	Celeborn FlushData 耗时 P95	ms
	Celeborn FlushData 耗时 P98	ms
	Celeborn FlushData 耗时 P99	ms
	Celeborn FlushData 耗时 P999	ms
	Celeborn TakeBuffer 次数	次
	Celeborn TakeBuffer 耗时最大值	ms
	Celeborn TakeBuffer 耗时平均值	ms
	Celeborn TakeBuffer 耗时最小值	ms
	Celeborn TakeBuffer 耗时 P50	ms
	Celeborn TakeBuffer 耗时 P75	ms
	Celeborn TakeBuffer 耗时 P95	ms
	Celeborn TakeBuffer 耗时 P98	ms
	Celeborn TakeBuffer 耗时 P99	ms
	Celeborn TakeBuffer 耗时 P999	ms
磁盘信息	Celeborn 总计磁盘容量	MB
	Celeborn 空闲磁盘容量	MB
	Celeborn 配置的可用磁盘容量	MB
	Celeborn 配置的可用磁盘容量中的剩余容量	MB
Netty内存使用	Celeborn Netty使用的直接内存大小	MB
	Celeborn Netty为读取分配的Pooled ByteBuf大小	MB
	Celeborn Netty 正在请求Buffer内存的请求数量	个
	Celeborn Netty为读取分配的Pooled ByteBuf数量	个
JVM内存指标	Celeborn Worker 堆提交量	MB
	Celeborn Worker Heap 使用率	%
	Celeborn Worker Heap 使用大小	MB
	Celeborn Worker 最大堆大小	MB
	Celeborn Worker 非堆内存使用大小	MB
	Celeborn Worker 非堆内存Committed大小	MB
JVM GC指标	Celeborn Worker Young GC 次数	次
	Celeborn Worker Young GC 耗时	ms
	Celeborn Worker Young GC 次数	次
	Celeborn Worker Young GC 耗时	ms
Direct 内存指标	Celeborn Worker Direct 内存块数量	个
	Celeborn Worker Direct 内存容量	MB
	Celeborn Worker Direct 内存使用量	MB
Mapped 内存指标	Celeborn Worker Mapped 内存块数量	个
	Celeborn Worker Mapped 内存容量	MB
	Celeborn Worker Mapped 内存使用量	MB
系统指标	Celeborn Worker JVM CPU Time	ms
	Celeborn Worker 最近一分钟所在机器CPU使用率	%
	Celeborn Worker 所在机器可用核数	个