任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程,有助于提高开发效率。调度设置分为基本信息、调度属性、依赖关系和输入输出参数等部分。
本文将为您介绍任务基础属性相关说明。
任务基本信息介绍如下表所示:
参数 | 描述 |
---|---|
任务名称 | 显示创建任务时输入的任务名称,调度设置中不支持修改,可以在左侧任务目录树结构中,在任务名称的右侧更多入口中,单击重命名进行修改。 |
任务类型 | 不同引擎类型支持的任务类型不同。 |
引擎类型 | 支持 E-MapReduce(EMR)、湖仓一体分析服务 (LAS)、ByteHouse 企业版(ByteHouse CE)、ByteHouse 云数仓版(ByteHouse CDW)和流式计算 Flink 版几种引擎类型。 |
关联实例 | 当引擎类型为 EMR、ByteHouse CE、流式计算 Flink 版 时,同步显示项目关联的实例或引擎项目; |
任务描述 | 非必填,可对任务进行详细描述,方便后续查看和管理。 |
责任人 | 仅限一个成员,默认为任务创建人(任务执行失败、复查通过或者失败时的默认接收者),可根据实际需要,修改为其他项目成员。
|
计算资源 | 当任务引擎类型为流式计算 Flink 版时,需下拉选择任务运行所需的计算资源信息。流式计算 Flink 资源信息操作详见创建资源池。 说明 已在流式计算 Flink 版控制台创建的资源池,需在 DataLeap 创建项目 > 引擎服务绑定时,进行资源池相关的绑定操作。详见创建项目。 |
调度资源组 | 选择 DataLeap 平台提供的资源组,用于生成定时调度实例,提供公共调度资源组和独享调度资源组。其中:
注意 Notebook、Python、Shell 类型任务中,若计算资源组为独享计算资源组时,调度资源组会置空,即这三类任务不用配置调度资源组。 |
LAS 队列 | 当作业类型为 LAS 引擎开发作业时显示,您可基于创建项目时绑定的引擎计算队列来下拉选择。 注意
|
Yarn 队列 | EMR 引擎包含 Yarn 组件的集群类型,如:Hadoop、Flink、TensorFlow 集群类型,支持下拉选择任务运行所需的 Yarn 队列信息。您可在创建项目 > 服务绑定 > EMR Yarn 队列绑定时,可添加绑定多个队列信息。详见创建项目。 |
计算队列 | 当项目绑定引擎类型为 EMR Serverless Spark 时,需配置 EMR Serverless Spark Jar、EMR Serverless Spark SQL 作业使用的 Spark 计算队列信息。支持下拉选择项目控制台中已绑定的计算队列信息。Spark 计算队列操作详见队列管理。 |
计算组 | 下拉选择已绑定至当前项目中,且在 ByteHouse_CDW 控制台中查询使用的计算组。计算组创建详见 ByteHouse CDW 计算组。 |
优先级 | 您可通过设置任务优先级,指定当前任务分配的调度资源优先级: 说明 流式任务优先级,目前仅支持设置 D3~D5 等级,更高优先级敬请期待。 |
标签 | 您可以自定义标签,用于标识某一类任务,以便快速搜索过滤,操作即时生效,无需重新上线任务。
|
任务基本信息配置完成后,您可继续配置任务调度属性。详见任务调度属性