You need to enable JavaScript to run this app.
导航

Spark Jar 作业创建及管理

最近更新时间2023.03.20 19:22:40

首次发布时间2022.09.30 16:46:51

1. 作业管理

1.1 作业管理概览页

作业管理 - Spark Jar 页,可以管理现有的 Spark Jar 作业,包括查看日志,停止作业,查看 Spark UI 等。
alt

1.2 作业管理详情页

作业管理详情页提供了独立的页面用于展示单个作业的基础信息和日志等,提升了查看及搜索的使用体验。

在 Spark Jar 作业的管理详情页,用户除了可以看到作业详情、提交日志、Driver 日志,还可以看到运行中的作业的监控信息,通过查看作业的 CPU 使用率、Memery 使用率等一些关键指标,来进一步了解作业的执行情况。监控信息的时间范围也是支持分钟级和秒级,其中秒级只支持查看 1 个小时范围内的监控数据。

2. 作业创建

请参考 创建 Spark Jar 作业 进行创建。

3. 作业监控

在作业的列表中,选择相应的作业,点击 监控, 即可以跳转。

alt

可以通过选择时间范围,时间粒度,来查看作业的监控指标情况。Spark 相关图表会按照 Executor ID 来进行区分。

Spark 作业监控指标详情见下表:·

Metrics说明

Read/Write Data Amount

  • 读写数据量

  • Read/Write 两条曲线

Shuffle Data Amount- Shuffle 数据总量

CPU Usage

  • Driver/Executor 的 CPU 利用率

  • 每个 Driver/Executor 是独立的一条曲线

Memory Usage

  • Driver/Executor 的 内存利用率

  • 每个 Driver/Executor 是独立的一条曲线

Network I/O

  • Driver/Executor 的 网络传输速度

  • 每个 Driver/Executor 是独立的一条曲线

Minor GC(GC time/1 min)

  • Driver/Executor 的每分钟 Minor GC 耗时

  • 每个 Driver/Executor 是独立的一条曲线

Full GC(GC time/1 min)

  • Driver/Executor 的每分钟 Full GC 耗时

  • 每个 Driver/Executor 是独立的一条曲线