You need to enable JavaScript to run this app.
导航

任务基础属性

最近更新时间2024.04.24 16:20:48

首次发布时间2024.04.24 16:20:48

1 概述

任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程,有助于提高开发效率。调度设置分为基本信息、调度属性、依赖关系和输入输出参数等部分。
本文将为您介绍任务基础属性相关说明。

2 功能入口

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。
  3. 任务开发界面,左侧导航栏中,双击打开某个离线任务,进入节点的编辑界面。
  4. 单击右侧导航栏的调度设置按钮,进入配置。

图片

3 基本信息

任务基本信息介绍如下表所示:

参数

描述

任务名称

显示创建任务时输入的任务名称,调度设置中不支持修改,可以在左侧任务目录树结构中,在任务名称的右侧更多入口中,单击重命名进行修改。

任务类型

不同引擎类型支持的任务类型不同。

引擎类型

支持 E-MapReduce(EMR)、湖仓一体分析服务 (LAS)、ByteHouse 企业版(ByteHouse CE)、ByteHouse 云数仓版(ByteHouse CDW)和流式计算 Flink 版几种引擎类型。

关联实例

当引擎类型为 EMR、ByteHouse CE、流式计算 Flink 版 时,同步显示项目关联的实例或引擎项目;
当引擎类型为 LAS 时,同步显示关联实例为 default。

任务描述

非必填,可对任务进行详细描述,方便后续查看和管理。

责任人

仅限一个成员,默认为任务创建人(任务执行失败、复查通过或者失败时的默认接收者),可根据实际需要,修改为其他项目成员。

  • 责任人需为项目中有编辑权限的成员,项目权限须由项目管理员授权。

    说明

    当选择的责任人在此处没有项目编辑权限,即仅为访客成员角色时,任何人均无法将任务提交至运维中心,包括项目管理员。

  • DataLeap 通过项目空间实现开发协同,项目中具有编辑权限的角色,可对项目下的所有任务进行编辑,因此无须通过为任务设置多个责任人,来达到协同合作的效果。

计算资源

当任务类型为流式计算 Flink 中的 Flink Batch SQL 时,需下拉选择任务运行所需的计算资源信息。流式计算 Flink 资源信息操作详见创建资源池

说明

已在流式计算 Flink 版控制台创建的资源池,需在 DataLeap 创建项目 > 引擎服务绑定时,进行资源池相关的绑定操作。详见创建项目

调度资源组

选择 DataLeap 平台提供的资源组,用于生成定时调度实例,提供公共调度资源组和独享调度资源组。其中:

  • 公共调度资源组,平台默认提供;
  • 独享调度资源组,您可根据实际情况自行购买,详见资源组管理

注意

Notebook、Python、Shell 类型任务中,若计算资源组为独享计算资源组时,调度资源组会置空,即这三类任务不用配置调度资源组。

LAS队列

当作业类型为 LAS引擎开发作业时显示,您可基于创建项目时绑定的引擎计算队列来下拉选择。

注意

子账号选择LAS队列时,需要有队列使用权限,需主账号前往 LAS控制台-权限管理 授予子账号队列权限。

Yarn 队列

EMR 引擎包含 Yarn 组件的集群类型,如:Hadoop、Flink、TensorFlow 集群类型,支持下拉选择任务运行所需的 Yarn 队列信息。您可在创建项目 > 服务绑定 > EMR Yarn 队列绑定时,可添加绑定多个队列信息。详见创建项目

说明

EMR Yarn 队列的更多操作详见 YARN 队列管理

计算组

下拉选择已绑定至当前项目中,且在 ByteHouse_CDW 控制台中查询使用的计算组。计算组创建详见 ByteHouse CDW 计算组

优先级

您可通过设置任务优先级,指定当前任务分配的调度资源优先级:

  • 等级数字越小,代表优先级等级越高。
  • 其中 D3~D5 等级,您可直接在调度设置页面中设置。
  • D1~D2需要在治理平台完成 SLA 签署后,才能设置。SLA 签署详见 SLA 保障

说明

流式任务优先级,目前仅支持设置 D3~D5 等级,更高优先级敬请期待。

标签

您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。

  • 下拉选择项目归属的标签组,及对应的标签信息,支持添加多个标签组。
  • 若没有可选的标签组,您可进行以下操作步骤:
    a. 进入 DataLeap 智能市场 > 任务标签管理,进入任务标签管理控制台,新建标签组。详见任务标签管理
    b. 新建标签组成功后,前往项目管理 > 具体项目的配置信息 > 标签管理来添加标签组。详见标签管理

4 后续操作

任务基本信息配置完成后,您可继续配置任务调度属性。详见任务调度属性