最近更新时间:2023.03.20 19:22:40
首次发布时间:2022.09.30 16:46:51
在 作业管理 - Spark Jar 页,可以管理现有的 Spark Jar 作业,包括查看日志,停止作业,查看 Spark UI 等。
作业管理详情页提供了独立的页面用于展示单个作业的基础信息和日志等,提升了查看及搜索的使用体验。
在 Spark Jar 作业的管理详情页,用户除了可以看到作业详情、提交日志、Driver 日志,还可以看到运行中的作业的监控信息,通过查看作业的 CPU 使用率、Memery 使用率等一些关键指标,来进一步了解作业的执行情况。监控信息的时间范围也是支持分钟级和秒级,其中秒级只支持查看 1 个小时范围内的监控数据。
请参考 创建 Spark Jar 作业 进行创建。
在作业的列表中,选择相应的作业,点击 监控, 即可以跳转。
可以通过选择时间范围,时间粒度,来查看作业的监控指标情况。Spark 相关图表会按照 Executor ID 来进行区分。
Spark 作业监控指标详情见下表:·
Metrics | 说明 |
---|---|
Read/Write Data Amount |
|
Shuffle Data Amoun | - Shuffle 数据总量 |
CPU Usage |
|
Memory Usage |
|
Network I/O |
|
Minor GC(GC time/1 min) |
|
Full GC(GC time/1 min) |
|