You need to enable JavaScript to run this app.
导航

任务运维

最近更新时间2024.04.11 10:47:39

首次发布时间2021.08.13 15:07:15

展示项目下已上线的实时任务,可查看任务操作日志、执行日志,可对任务进行报警设置和报警屏蔽操作,同时可对任务进行重启、停止等状态操作。
图片

1 进入任务运维

  1. 登录 DataLeap租户控制台
  2. 在对应项目下单击运维中心 > 实时任务运维 > 任务运维界面。

2 任务筛选搜索

可通过筛选和搜索,快速查找到指定任务,具体筛选和搜索项有:

  • 筛选项:责任人、存储目录,任务状态,任务类型,任务标签和引擎类型等筛选方式。
  • 搜索项:任务 ID /名称,Code,配置参数、项目参数和 ID 列表方式。
    • Code代码,配置参数、项目参数和 ID 列表搜索,您可以在下拉框中选择。
      图片
  • 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务。
  • 快速筛选:勾选我的任务,即筛选出当前账号作为责任人的任务。

3 查看任务列表

3.1 单任务操作

在任务列表中,您可执行以下操作:

功能

说明

任务名称

单击任务名称,您将进入任务开发界面,可以再次编辑修改任务。

详情

单击操作列中的详情按钮,您可在详情界面查看任务基础信息、配置信息、运行监控、执行日志、操作日志等操作:

  • 基础信息:
    展现任务的基础信息,如任务名称、任务状态、责任人、引擎实例和任务上下游数据源等信息。
    您可以在数据源中查看 Source、Sink 数据源类型,数据源属性和上下游直接任务信息。若发现数据源信息有误时,您可单击订正任务血缘按钮,前往数据开发界面订正任务血缘信息。
  • 配置信息:
    展现任务基础信息、任务设置和执行设置相关信息。如查看任务代码、任务执行资源设置等。
  • 运行监控:
    直接对接火山引擎云监控平台,您可在运行监控页签中查看 Flink Metric 监控、集成监控MQ 监控等详情。您也可以单击界面右上角“前往监控平台”按钮,跳转前往云监控平台查看更详细监控明细。
    图片
  • 执行日志:
    在执行日志页签中,您可以看到最新的执行日志,您可根据作业实例的范围、时间范围、日志类型、日志等级或者输入日志相应的关键字后进行筛选搜索。
    单击日志详情右侧的下载按钮,也可将搜索后的日志进行下载到本地进行查看分析。

    说明

    单次最多下载20000行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。

    图片
  • 操作日志:
    在操作日志页签中,为您记录了流式任务从创建任务开始,后续的所有操作步骤,包含任务创建、提交上线、开启、关闭、重启等操作记录。
  • 作业快照:
    在作业快照页签中,您可根据实际情况,为当前 Serverless Flink 引擎流式作业,在某个“时间点”,创建作业快照信息。该快照包含数据源读取到的偏移量(offset)、输入源的位置及整个应用的状态信息。快照操作详见 3.2 作业快照

任务血缘

单击操作列中的任务血缘按钮,您可查看基于数据源登记信息的流式血缘,查看任务血缘的 DAG 图,从而您可以快速掌握并梳理流式任务的上下游信息,进行流式任务链路的 SLA 申报,提高任务的运维效率。详见下方3.3 任务血缘

日志

单击操作列中的日志按钮,您可查看流式任务的 Application Url、最新操作日志(最近一次操作,当天的操作日志)、全部操作日志和执行日志信息。

监控

单击操作列中的监控按钮,前往详情页的运行监控云监控界面中,查看 Flink Metric 监控集成监控MQ 监控等详情。

报警配置

查看该任务已配置的运行监控,同时可通过该入口,给当前任务添加新的运行监控。操作详见报警监控

重启

单击操作列中更多 > 重启按钮,在经过重启检查完成后,即可重启流式任务。
其中:流式计算 Flink 版引擎下的 Serverless Flink SQL、Serverless Java Flink 任务类型,在重启时,可指定以下两种重启模式:

  • 使用最新状态重启:扫描流式作业的最新可用快照,进行重启。
  • 使用历史快照重启:若当前任务有历史快照保存,您可选择保存的历史快照信息,进行重启。快照操作详见 3.2 作业快照
  • 无状态重启:不使用快照信息,直接重启。

停止

对于不需要在执行的任务,您可单击操作列中更多 > 停止按钮,进行停止。
已停止的任务,当需要再次例行执行,您可单击更多 > 重启按钮进行启动。

复制

单击操作列中更多 > 复制按钮,按照当前的任务配置,在本项目下,将复制对应任务到具体目录下。

移动

单击操作列中更多 > 移动按钮,将选中任务,移动到指定项目下的指定目录。

修改标签

您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

  • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
  • 若没有可选的标签组,您可前往项目控制台--->标签管理来新建标签组或添加标签组。

标签管理详见文档:https://www.volcengine.com/docs/6260/119813

报警ACK设置

单击操作列中更多 > 报警 ACK 设置按钮,进入当前任务的报警 ACK 设置页面,按需给任务的指定监控项目,进行报警屏蔽设置,在报警屏蔽时段,该任务触发指定监控的报警,系统会自行屏蔽,不发送给报警接收人。

删除

对于不再需要的任务,可单击操作列中更多 > 删除按钮进行删除。

3.2 作业快照

3.2.1 新建快照

Serverless Flink 引擎作业,支持创建作业快照能力:

说明

  • Flink 1.16 执行引擎版本的作业,可直接进行快照创建;
  • Flink 1.11 执行引擎版本,需先在任务调度设置 > Flink 运行参数窗口,添加快照参数:execution.checkpointing.interval=30s 后,方可进行快照创建,否则会出现快照创建失败的情况。
  • 您也可通过参数设置,来定时创建快照,即配置 execution.checkpointing.interval=30s 参数

图片

  1. 在实时任务运维列表中,单击操作列中的详情按钮,进入流式作业详情界面。

  2. 单击作业快照页签,进入快照列表界面。

  3. 单击手动创建按钮,在弹窗中进行以下快照信息配置:
    图片

    参数

    说明

    暂停消费 Source

    根据实际场景,选择是否先将 Source 停止下发数据,再进行 Savepoint 创建。默认为“否”,通常适用于需要即将重启的任务。

    说明

    • Flink 1.11 的执行引擎,方可选择是否暂停消费 Source。
    • Savepoint 成功后消费会停止,您需手动重启作业。
    • Savepoint 失败后作业会恢复消费。

    超时设置

    设定 Savepoint 制作的超时时间,单位

    描述

    填写 Savepoint 创建的描述,方便后续维护管理。

  4. 快照信息配置完成后,单击确定按钮,等待快照创建完成。

3.2.2 快照管理

快照创建完成后,您可在快照列表界面,进行以下操作:

  • 筛选快照
    • 您可指定开始日期和结束日期,在锁定时间范围内,筛选对应的快照完成时间;
    • 您可通过下拉选择快照的创建状态,来筛选对应状态下的快照信息;
    • 你也可通过创建快照时,输入的描述信息,来查询对应的快照。
  • 查看快照
    单击操作列中的查看按钮,便可查看当前快照的类型、对应任务版本、描述等信息。

3.3 任务血缘

在实时任务运维列表界面,单击操作列中的任务血缘按钮,中您可进行以下操作:

  • 可自定义默认展开的 DAG 图显示百分比,或中心定位操作。
  • 右键任务 DAG 图,可单击前往任务开发、配置监控、查看报警记录等操作。
  • 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
  • 若展现的血缘不符合您的要求,您也可单击订正任务血缘按钮,前往任务开发重新配置上下游血缘关系。

图片

3.4 批量操作列

图片
在任务列表中,您可以勾选多个任务,在下方的操作栏中进行批量任务操作:进行重启、停止、复制、报警 ACK 设置、添加监控规则等批量操作。

说明

其中流式集成任务重启操作时,您可按需选择集成任务的镜像版本升级策略,操作详见全域集成引擎版本升级管理