You need to enable JavaScript to run this app.
导航
任务运维
最近更新时间:2024.10.23 10:38:54首次发布时间:2021.08.13 15:07:15

展示项目下已上线的实时任务,可查看任务操作日志、执行日志,可对任务进行报警设置和报警屏蔽操作,同时可对任务进行重启、停止等状态操作。
Image

1 进入任务运维

  1. 登录 DataLeap租户控制台
  2. 在对应项目下单击运维中心 > 实时任务运维 > 任务运维界面。

2 任务筛选搜索

可通过筛选和搜索,快速查找到指定任务,具体筛选和搜索项有:

  • 筛选项:责任人、存储目录,任务状态,任务类型,任务标签和引擎类型等筛选方式。
  • 搜索项:任务 ID /名称,Code,配置参数、项目参数和 ID 列表方式。
    • Code代码,配置参数、项目参数和 ID 列表搜索,您可以在下拉框中选择。
      Image
  • 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务。
  • 快速筛选:勾选我的任务,即筛选出当前账号作为责任人的任务。

3 查看任务列表

3.1 单任务操作

在任务列表中,您可执行以下操作:

功能

说明

任务名称

单击任务名称,您将进入任务开发界面,可以再次编辑修改任务。
若当前运行的流式任务版本非最新版本,您可将鼠标移动至“NEW”字样,并在提示中单击“版本对比”按钮,可查看线上运行版本与当前最新版本间的差异情况;也可单击“重启”按钮,进行实时任务重启操作。
Image

说明

流式集成任务重启时,可根据实际情况选择引擎版本升级策略。操作详见全域集成引擎版本升级管理

详情

单击操作列中的详情按钮,您可在详情界面查看任务基础信息、配置信息、运行监控、执行日志、操作日志等操作:

  • 基础信息:
    展现任务的基础信息,如任务名称、任务状态、责任人、引擎实例和任务上下游数据源等信息。
    您可以在数据源中查看 Source、Sink 数据源类型,数据源属性和上下游直接任务信息。若发现数据源信息有误时,您可单击订正任务血缘按钮,前往数据开发界面订正任务血缘信息。
  • 配置信息:
    展现任务基础信息、任务设置和执行设置相关信息。如查看任务代码、任务执行资源设置等。
  • 运行监控:
    直接对接火山引擎云监控平台,您可在运行监控页签中查看 Flink Metric 监控、集成监控MQ 监控等详情。您也可以单击界面右上角“前往监控平台”按钮,跳转前往云监控平台查看更详细监控明细。
    Image
  • 执行日志:不同任务类型,执行日志界面操作不同
    • 数据集成实时任务类型
      在执行日志页签中,您可以看到最新的执行日志,您可根据作业实例的范围、时间范围、日志类型、日志等级或者输入日志相应的关键字后进行筛选搜索。
      单击日志详情右侧的下载按钮,也可将搜索后的日志进行下载到本地进行查看分析。

      说明

      单次最多下载20000行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。

      Image
    • 流式计算 Flink 版 引擎任务类型
      在流式计算 Flink 版引擎任务的执行日志界面, 您可根据日志时间范围、多个日志关键词、日志来源(包含 JobManager、TaskManager)、日志级别以及日志类名等信息进行日志搜索。
      单击开始搜索后,便可在下方查看搜索范围内的详细日志信息。您可根据个人习惯,选择是否按生成时间展示(降序/升序)日志详情,也可单击下载全部按钮,将搜索的日志进行下载。
      Image
    • EMR 引擎任务类型
      在 EMR 引擎流式任务的执行界面,您可根据日志来源(包含 JobManager、TaskManager)、日志类型信息进行搜索。
      单击开始搜索后,便可在下方查看搜索范围内的详细日志信息,也可单击下载全部按钮,将搜索的日志进行下载。
      Image
  • 运行事件:
    流式数据集成任务中,您可在运行事件栏中查看当前实例下任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。
  • 操作日志:
    在操作日志页签中,为您记录了流式任务从创建任务开始,后续的所有操作步骤,包含任务创建、提交上线、开启、关闭、重启等操作记录。
  • 作业快照:
    在作业快照页签中,您可根据实际情况,为当前 Serverless Flink 引擎流式作业,在某个“时间点”,创建作业快照信息。该快照包含数据源读取到的偏移量(offset)、输入源的位置及整个应用的状态信息。快照操作详见 3.2 作业快照

任务血缘

单击操作列中的任务血缘按钮,您可查看基于数据源登记信息的流式血缘,查看任务血缘的 DAG 图,从而您可以快速掌握并梳理流式任务的上下游信息,进行流式任务链路的 SLA 申报,提高任务的运维效率。详见下方3.3 任务血缘

日志

单击操作列中的日志按钮,您可查看流式任务的 Application Url、最新操作日志(最近一次操作,当天的操作日志)、全部操作日志和执行日志信息。

监控

单击操作列中的监控按钮,前往详情页的运行监控云监控界面中,查看 Flink Metric 监控集成监控MQ 监控等详情。

报警配置

查看该任务已配置的运行监控,同时可通过该入口,给当前任务添加新的运行监控。操作详见报警监控

重启

单击操作列中更多 > 重启按钮,在经过重启检查完成后,即可重启流式任务。

流式计算 Flink 版、EMR 引擎下的 Serverless Flink SQL、Serverless Java Flink、EMR Flink SQL、EMR Java Flink 任务类型,在重启时,可指定以下三种重启模式:

  • 使用最新状态重启:扫描流式作业的最新可用快照,进行重启。
  • 使用历史快照重启:若当前任务有历史快照保存,您可选择保存的历史快照信息,进行重启。快照操作详见 3.2 作业快照
  • 无状态重启:不使用快照信息,直接重启。

说明

  • 流式任务在 Flink 运行参数中,需要添加 execution.checkpointing.interval 参数,用于设定流式任务 checkpoint 的时间间隔,当任务通过上述”使用最新状态重启“模式重启时,能够检查最新状态来重启任务。若不设定该参数,则任务会全新启动,不会检查保存的最新状态。
  • EMR 流式任务类型(EMR Flink SQL、EMR Java Flink)重启模式配置目前以白名单形式放开,您需通过提工单方式,咨询 DataLeap 和 EMR 支持人员进行加白后开通使用。
  • EMR 流式任务类型(EMR Flink SQL、EMR Java Flink)目前不支持手动创建快照,所以无法使用历史快照重启模式。

流式集成任务中,源端为 Kafka、BMQ、RocketMQ 时,您可在重启配置时,选择是否需要“重置 offset”操作。

  • 开启“重置 offset”,您可根据实际情况设置流式任务消费起始位置,可通过以下方式进行设置:

    • 最新:直接从最新的消费起始位置重启开始消费;
    • 最老:从最早的消费起始位置重启开始消费;
    • 时间戳(ms):您可根据实际情况,指定某个时间点(时间戳)之后写入的数据重启开始消费。
    • 分区 offset:Kafka、BMQ 数据源类型可通过填写分区 offset 信息,将其之后写入的数据重启开始消费。分区 offset 填写示例如下:
      [
        {
          "partition": 1,
          "offset": 100
        },
        {
          "partition": 2,
          "offset": 200
        }
      ]
      
  • 不开启“重置 offset”操作时,默认正常从 Checkpoint 开始消费。

停止

对于不需要在执行的任务,您可单击操作列中更多 > 停止按钮,进行停止。

说明

已停止的任务,当需要再次例行执行,您可单击更多 > 重启按钮进行启动。

复制

单击操作列中更多 > 复制按钮,按照当前的任务配置,在本项目下,将复制对应任务到具体目录下。

移动

单击操作列中更多 > 移动按钮,将选中任务,移动到指定项目下的指定目录。

修改标签

您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

  • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
  • 若没有可选的标签组,您可前往项目控制台--->标签管理来新建标签组或添加标签组。

标签管理详见文档:https://www.volcengine.com/docs/6260/119813

报警ACK设置

单击操作列中更多 > 报警 ACK 设置按钮,进入当前任务的报警 ACK 设置页面,按需给任务的指定监控项目,进行报警屏蔽设置,在报警屏蔽时段,该任务触发指定监控的报警,系统会自行屏蔽,不发送给报警接收人。

删除

对于不再需要的任务,可单击操作列中更多 > 删除按钮进行删除。

3.2 作业快照

3.2.1 新建快照

Serverless Flink 引擎作业,支持创建作业快照能力:

说明

  • Flink 1.16 执行引擎版本的作业,可直接进行快照创建;
  • Flink 1.11 执行引擎版本,需先在任务调度设置 > Flink 运行参数窗口,添加快照参数:execution.checkpointing.interval=30s 后,方可进行快照创建,否则会出现快照创建失败的情况。
  • 您也可通过参数设置,来定时创建快照,即配置 execution.checkpointing.interval=30s 参数

Image

  1. 在实时任务运维列表中,单击操作列中的详情按钮,进入流式作业详情界面。

  2. 单击作业快照页签,进入快照列表界面。

  3. 单击手动创建按钮,在弹窗中进行以下快照信息配置:
    Image

    参数

    说明

    暂停消费 Source

    根据实际场景,选择是否先将 Source 停止下发数据,再进行 Savepoint 创建。默认为“否”,通常适用于需要即将重启的任务。

    说明

    • Flink 1.11 的执行引擎,方可选择是否暂停消费 Source。
    • Savepoint 成功后消费会停止,您需手动重启作业。
    • Savepoint 失败后作业会恢复消费。

    超时设置

    设定 Savepoint 制作的超时时间,单位

    描述

    填写 Savepoint 创建的描述,方便后续维护管理。

  4. 快照信息配置完成后,单击确定按钮,等待快照创建完成。

3.2.2 快照管理

快照创建完成后,您可在快照列表界面,进行以下操作:

  • 筛选快照
    • 您可指定开始日期和结束日期,在锁定时间范围内,筛选对应的快照完成时间;
    • 您可通过下拉选择快照的创建状态,来筛选对应状态下的快照信息;
    • 你也可通过创建快照时,输入的描述信息,来查询对应的快照。
  • 查看快照
    单击操作列中的查看按钮,便可查看当前快照的类型、对应任务版本、描述等信息。

3.3 任务血缘

在实时任务运维列表界面,单击操作列中的任务血缘按钮,中您可进行以下操作:

  • 可自定义默认展开的 DAG 图显示百分比,或中心定位操作。
  • 右键任务 DAG 图,可单击前往任务开发、配置监控、查看报警记录等操作。
  • 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
  • 若展现的血缘不符合您的要求,您也可单击订正任务血缘按钮,前往任务开发重新配置上下游血缘关系。

Image

3.4 批量操作列

Image
在任务列表中,您可以勾选多个任务,在下方的操作栏中进行批量任务操作:进行重启、停止、复制、报警 ACK 设置、添加监控规则等批量操作。

说明

其中流式集成任务重启操作时,您可按需选择集成任务的镜像版本升级策略,操作详见全域集成引擎版本升级管理