You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
批运维
离线任务运维
复制全文
离线任务运维

展示项目下已上线的离线任务,可按需查看任务依赖、运行耗时变化,可对任务进行数据回溯、监控设置等运维操作,同时也可以对任务进行开启/关闭等状态操作。

任务运维列表管理

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 运维中心 > 离线任务运维 > 任务运维,进入任务运维页面。
    Image
  3. 可以查看任务列表,并执行以下操作:
    • 设置搜索信息,查询符合条件的任务列表。
      当设置多个搜索条件时,会取各个条件的交集,进行查询。
      • 存储目录任务状态调度类型、优先级别等下拉列表中,选择对应的选项。
      • 在搜索框中输入相应的搜索内容,按回车键或单击搜索框右侧的搜索图标。
      • 勾选我的任务,快速查看责任人是当前操作人的任务。
      • 单击重置按钮,可以恢复项目下的默认展示。
    • 自定义任务列表展示列
      单击列表左上方的设置图标按钮,在弹出的窗口中,设置列表展示项后,单击确定按钮完成设置。
      • 列表项:通过勾选,可选择是否将对应参数项展示在列表中。
      • 冻结列:包括任务名称、操作两项,必须展示,不可编辑。
      • 活动列:通过拖拽的方式,自定义排序已选中的列表项。
        Image
    • 任务运维操作
      支持单任务运维操作和批量运维操作。

任务运维操作

任务的运维操作包括查看分析任务DAG、查看实例、数据回溯等,相关操作步骤如下:

  1. 登录DataLeap控制台。

  2. 选择数据开发 > 运维中心 > 离线任务运维 > 任务运维,进入任务运维页面。

  3. 可执行以下操作:

    操作项

    说明

    查看任务DAG

    单击某条信息操作列的任务DAG按钮,查看该任务的上下游依赖关系,血缘展示支持 DAG、列表两种模式。详细说明请参见“查看任务DAG

    查看实例

    单击某条信息操作列的查看实例按钮,跳转到实例运维列表,查看该任务对应的运行实例。

    数据回溯

    单击某条信息操作列的数据回溯按钮,在弹出的窗口中,设置回溯信息,对该任务进行数据回溯。详细说明请参见“数据回溯”。
    任务开启时,可以进行数据回溯,根据需要对当前任务进行重跑/补数操作。

    编辑任务

    单击某条信息操作列的编辑按钮,可以进入任务开发页面,修改该任务的配置信息。

    复制任务

    单击某条信息操作列的更多图标 > 复制按钮,在弹出的复制任务窗口中,选择存储目录,单击确定按钮,可以按照该任务配置,复制并保存新任务到当前项目的指定目录下。

    移动任务

    单击某条信息操作列的更多图标 > 移动按钮,在弹出的移动任务窗口中,选择存储目录,单击确定按钮,可以将该任务移动到当前项目的指定目录下。

    交换任务

    单击某条信息操作列的更多图标 > 交换按钮,在弹出的任务交换窗口中,可选择将该任务与同项目下同频率的上线任务,进行交换。具体交换效果如下图:
    Image

    说明

    • 同项目下,两个上线且启用的任务才可进行交换。
    • 本操作只交换任务ID和依赖设置,其它配置不变。

    修改负责人

    单击某条信息操作列的更多图标 > 修改责任人按钮,在弹出的修改责任人窗口中,可以变更任务的责任人。修改后直接生效,无需重新发布上线。

    修改队列

    单击某条信息操作列的更多图标 > 修改队列按钮,在弹出的修改队列窗口中,可以变更任务使用的yarn队列。修改后直接生效,无需重新发布上线。

    注意

    批量修改队列时,仅相同集群类型的任务才可以共同批量修改队列。

    修改标签

    单击某条信息操作列的更多图标 > 修改标签按钮,在弹出的标签管理窗口中,可以修改任务的标签信息。

    运行监控

    单击某条信息操作列的更多图标 > 运行监控按钮,在运行监控设置页面,设置监控规则,单击提交按钮,完成对任务的运行监控设置。

    质量监控

    单击某条信息操作列的更多图标 > 质量监控按钮,可以直接跳转到该任务的数据监控配置页面,设置质量监控规则。详细说明可参见“配置Hive模板规则”。

    添加至基线

    单击某条信息操作列的更多图标 > 添加至基线按钮,在弹出的添加至基线窗口中,可以将任务添加至已有基线。

    使用/不使用默认监控

    单击某条信息操作列的更多图标 > 使用/不使用默认监控复合按钮,可以选择该任务使用/不使用系统默认监控。

    报警ACK设置

    单击某条信息操作列的更多图标 > 报警ACK设置按钮,在弹出的报警ACK设置窗口中,可以设置该任务运行触发对应监控时的系统报警信息。

    历史运行耗时

    单击某条信息操作列的更多图标 > 历史运行耗时按钮,在弹出的窗口中,可以查看该任务最近30天例行执行时的运行耗时变化。

    导出下游

    单击某条信息操作列的更多图标 > 导出下游按钮,在弹出的导出下游窗口中,可以搜索任务,以及将该任务及其全部下游任务以Excel文件的形式导出到本地。

    开启/关闭

    单击某条信息操作列的更多图标 > 开启/关闭复合按钮,在弹出的确认对话框中,单击确定按钮,可开启/关闭该任务。

    删除任务

    单击某条信息操作列的更多图标 > 删除按钮,在弹出的确认对话框中,单击确定按钮,可以删除该任务。

    说明

    • 删除任务时,会同时删除任务代码文件。
    • 关闭任务后,才可删除任务。

    批量运维

    勾选一个或多个任务,单击列表下方对应的操作按钮,可以批量管理所选任务。

    说明

    Shell /Python 类型的任务无yarn队列设置,因此队列批量替换时,对此类任务类型不生效。

查看任务DAG

查看任务DAG的步骤如下:

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 运维中心 > 离线任务运维 > 任务运维,进入任务运维页面。
  3. 单击列表中某条信息的任务名称操作列的任务DAG按钮,进入DAG展示页面。
  4. 可执行以下操作:
    • 管理DAG模式血缘展示
      • 可自定义默认展开的层级数量、DAG图显示百分比等。
      • 右键单击任务DAG图,可以选择查看任务实例、开启/关闭任务、编辑任务、设置数据回溯等,详细说明可参见“任务运维操作”。
      • 单击DAG图上下边界的 + 图标,可展开任务的上下游依赖。
        Image
    • 查看任务详情
      在DAG展示页面的下方展示栏,还可以查看生产环境中周期任务的属性、操作日志及代码是否符合预期。
      • 属性:展示当前任务的名称、责任人、调度状态、执行时间、任务类型等基本信息。
      • 操作日志:您对任务的所有操作,例如开启/关闭,回溯任务等,均会记录在操作日志中,方便后续回溯任务相关操作记录。
      • 代码:离线任务除数据集成同步任务外,均可展现任务的逻辑代码。
最近更新时间:2026.02.04 10:41:49
这个页面对您有帮助吗?
有用
有用
无用
无用