You need to enable JavaScript to run this app.
导航

任务运维

最近更新时间2024.01.29 19:22:38

首次发布时间2021.08.13 15:07:15

展示项目下已上线的离线任务,可按需查看任务依赖、运行耗时变化,可对任务进行数据回溯、监控设置等运维操作,同时也可以对任务进行开启/关闭等状态操作。
图片

1 进入任务运维

  1. 登录DataLeap租户控制台
  2. 在对应项目下点击运维中心 > 离线任务运维 > 任务运维界面。

2 任务筛选搜索

可通过筛选和搜索,快速查找到指定任务,具体筛选和搜索项有:

  • 筛选项:责任人、存储目录,任务状态,调度类型,任务类型,运行监控,任务模式(区分单节点任务和工作流任务模式),任务标签,调度周期,优先级别,引擎类型和基线监控。
  • 搜索项:任务 ID /名称,Code,配置参数和项目参数。
    • Code代码,配置参数和项目参数搜索,您可以在下拉框中选择。
      图片
  • 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务。
  • 快速筛选:勾选我的任务,即筛选出当前账号作为责任人的任务。

3 查看任务列表

3.1 任务列表自定义展示

单击列表项设置按钮,您可进入任务列表自定义展示列的配置:

  • 列表项:单击勾选全部,可以将所有列表参数展现在界面上,您也可以自定义进行勾选。
  • 冻结项:默认冻结任务名称、操作列两个列表。
  • 活动列:您可以以拖拽的方式,自定义排序已选中的列表项,或者删除该活动列。

3.2 单任务操作列

功能

说明

任务DAG

任务依赖展示页面,查看任务的上下游依赖关系,血缘展示支持 DAG 、列表,两种模式查看。
详见查看任务DAG图

查看实例

跳转到实例运维列表,查看该任务对应的运行实例。详见实例运维

数据回溯

任务开启时,可以进行数据回溯,根据需要,对当前任务进行重跑/补数操作。详见数据回溯

编辑

进入任务开发界面,再次编辑修改任务。

复制

按照选中任务配置,在本项目下,复制对应任务到具体目录下。

移动

将选中任务,移动到指定项目下的指定目录。

交换

进入任务交换配置页面,通过该操作,可将同项目下,两个同频率的上线任务,进行交换。具体交换效果如下图:
图片

说明

  1. 同项目下,两个上线且启用的任务可进行交换。
  2. 任务交换,只交换任务ID和依赖设置,其它配置不变。
  3. 工作流任务不支持进行交换操作。

修改标签

您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

  • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
  • 若没有可选的标签组,您可前往项目控制台--->标签管理来新建标签组或添加标签组。
    标签管理详见文档:https://www.volcengine.com/docs/6260/119813

修改责任人

修改当前任务责任人,在弹窗中,选择当前项目下的其他用户。项目用户添加详见成员管理

修改队列

目前仅 LAS 引擎类型作业,支持修改队列操作,在弹窗中,下拉选择任务运行所需的队列信息。

修改优先级

修改当前任务优先级,此处仅支持修改 D3~D5 优先级的任务,更高优先级“核心(D2)”、“超核心(D1)”的任务,您需前往数据治理平台进行优先级调整。

运行监控

查看该任务已配置的运行监控,同时可通过该入口,给当前任务添加新的运行监控。操作详见报警监控

质量监控

进入到数据质量,给当前任务配置质量监控。操作详见离线数据监控

添加至基线

将当前任务添加至已创建的基线监控。基线创建详见报警监控

说明

Sensor 任务类型、工作流任务、月级调度任务、周级调度任务、分钟级调度任务不支持将其添加至基线,进行基线监控。

使用/不使用默认监控

若项目将系统提供的默认监控,设置为项目默认监控,则可通过该操作,给指定任务快速使用/不使用默认监控。

报警ACK设置

进入当前任务的报警ACK设置页面,按需给指定任务的指定监控项目,进行报警屏蔽设置,在报警屏蔽时段,该任务触发指定监控的报警,系统会自行屏蔽,不发送给报警接收人。

历史运行耗时

查看该任务历史运行耗时变化。不同频率的任务,可查看的历史范围不同。

  • 月/周/天任务:最近30天的运行耗时变化。
  • 小时任务:最近7天的运行耗时变化。
  • 分钟:最近3天的运行耗时变化。

消息通知

当任务有变更或需要给任务的责任人发送消息时,您可以通过消息通知功能,将需告知的内容发送给对应负责人,配置操作详见3.4消息通知

导出下游

查看该任务的下游任务,包括直接和间接依赖的任务,您可按需进行导出至 Excel 文件。

关闭/开启

已开启任务,当不再需要例行执行,您可点击更多-关闭进行关闭。 已关闭任务,当需要再次例行执行,您可点击更多-开启进行开启。

删除

对于不再需要的任务,可点击更多-删除进行删除。

3.3 批量操作列

图片
在任务列表中,您可以勾选多个任务,在下方的操作栏中进行批量任务操作:进行开启、关闭、删除、复制、移动、导出下游、修改(修改责任人、修改标签)、运行监控(使用/不使用默认监控、添加监控规则、添加基线监控、修改优先级)和数据回溯等批量操作。

3.4 消息通知

单击操作列中的消息通知按钮,进入消息通知配置界面,并完成以下参数配置:

参数

说明

通知内容

输入您需要告知任务责任人或项目管理员的消息内容。

通知形式

您可选择邮件短信两种通知方式:

  • 邮件:通知内容将以邮件形式,发送给通知对象;

    注意

    对应的任务信息,将在邮件正文中呈现,由于底层服务限制,目前最多只展示1000行。

  • 短信:通知内容将以短信形式,发送给通知对象。

通知对象

将消息通知发送给任务责任人或任务所属的项目管理员。

消息接收人

选择消息被哪些任务的责任人或管理员接收,支持批量勾选。

3.5 查看任务DAG

任务列表中,点击任务名称或者操作列中的任务DAG按钮,进入 DAG 展示界面。

3.5.1 血缘展示支持以下两种模式:

  1. DAG:
    • 可自定义 DAG 图显示百分比操作。
    • 右键任务 DAG 图,可单击查看实例、开启/关闭任务、编辑任务、数据回溯等操作。
      图片
    • 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
      图片
  2. 列表模式:
    • 血缘类型:勾选展现上游或下游血缘,并输入展示几层血缘,默认展示1层,下方列表中即会展现上下游血缘列表。
    • 血缘列表搜索:您可以筛选展示的层级、任务责任人、任务类型,或直接输入任务名称、ID或项目名称进行搜索相关血缘的任务。
    • 批量开启/关闭任务:您可以勾选多个任务,点击右上方的 开启、关闭 按钮,来批量操作。
    • 导出至 Excel:您可以将展示的血缘关系列表,导出至本地 Excel 文件。

3.4.2 任务详情

您可以查看生产环境中周期任务的属性、操作日志及代码是否符合预期。

  • 属性:展示当前任务的名称、责任人、调度状态、执行时间、任务类型等基本信息。
  • 操作日志:您对任务的操作,例如开启/关闭,回溯任务等操作,均会记录在操作日志中,方便后续回溯任务相关操作记录。
  • 代码:离线任务除数据集成同步任务外,可以展现任务的逻辑代码。

图片