大数据研发治理套件（私有化）
大数据研发治理套件（私有化）
- 文档首页
大数据研发治理套件（私有化）数据开发开发流程介绍离线任务通用设置调度设置
文档反馈
问问助手调度设置分为基本信息、调度属性、依赖关系和输入输出参数四部分。下文对各部分进行介绍，不同任务类型，配置项存在不同，以实际页面为准。
基本信息
参数 | 说明 |
|---|---|
任务名称 | 不支持修改，可以在左侧目录树中选中任务，通过“操作热区-重命名”进行修改。 |
任务描述 | 非必填，可对任务进行详细描述，方便后续查看和管理。 |
责任人 | 默认为任务创建人，可根据实际需要，修改为其他项目成员。
|
yarn队列 | 非 LAS、Apache Hadoop、MiniBase Hadoop 引擎任务配置，如 Flink 引擎任务，可从项目已配置的队列中进行选择。 |
队列 | LAS、Apache Hadoop、MiniBase Hadoop 引擎任务配置项，从项目已配置的队列中进行选择。 |
优先级 | 您可通过设置任务优先级，指定当前任务分配的调度资源优先级：
说明
|
标签管理 | 您可以自定义标签，用于标识某一类任务，以便快速搜索过滤，操作及时生效，无需重新上线任务。 |
调度属性
参数 | 说明 |
|---|---|
调度状态 | 分为开启和关闭，任务首次上线后，调度状态为开启。
|
调度类型 | 分为周期调度和手动调度。
|
调度生效日期 | 当调度类型选择“周期调度”时，可对调度的生效时间范围进行设置，默认值为1970-01-01 00:00:00～9999-12-31 23:59:59，可根据实际需要进行调整。 |
执行频率 | 任务执行的频率，包括分钟级、小时级、天级、周级和月级五种选项。 说明 手动调度时，仅支持小时级、天级执行频率。 |
执行时间 | 执行时间的配置受执行频率影响。
|
小时区间 | 当执行频率为分钟级时，您可按需选择是否开启小时区间设置。 |
分时调度 | 当执行频率选择分钟级或者小时级时，出现分时调度属性，需另外设定分时调度时段信息。
|
最早回溯时间 | 可重跑的历史数据的最早时间，设定后，最早回溯时间之前的实例将无法生成。 说明 当任务依赖关系中设置自依赖关系时，此处最早回溯时间，默认会自动填充最早回溯日期，为任务“业务日期-1”。 |
空跑设置 | 启用空跑设置后，实例不真正执行，直接置为成功。 |
重试触发条件 | 系统提供失败重试和单次执行超时重试两种选项，默认选中失败重试（不可更改），用户可根据实际需要，选择是否启用超时重试。
说明 单次执行时间最大不能超过6天，否则系统将自动结束实例执行。 |
失败重跑次数 | 任务失败后，重试的次数。另外，当实例重试运行时间超过48小时，系统将自动结束该实例。 |
重跑时间间隔 | 任务失败后，重试的时间间隔，最大重跑时间间隔为1小时。 |
最大并发控制 | 当前任务可同时运行的实例个数。 |
数据回溯建议 | 包括允许回溯和谨慎回溯两个选项。
|
调度日历 | 您可下拉选择已添加至本项目中的调度日历信息。通过日历的方式，满足证券场景中交易日、节假日调度需求，可更加灵活地进行调度日的配置。 注意 添加调度日历时，需注意：
|
高级参数设置 | 在 Shell、Python、SQL等任务类型中，您可按需打开高级参数设置按钮，配置任务执行时的 CPU、MEN 参数：
|
依赖关系
任务依赖设置，即数据依赖。当上游任务执行成功，即代表数据表（分区）数据已就绪。
通过“上游依赖设置”，建立任务之间的依赖关系。在设置依赖关系时，可使用依赖推荐或手动添加的方式。如果该任务依赖本身上一周期的产出，可使用任务自依赖设置。
依赖推荐
LAS、CDH、Hadoop、StarRock、Gbase 8a 引擎 SQL 任务类型，支持解析 SQL 代码，获取任务的使用表信息，系统将产出使用表的任务，作为推荐项返回给用户，用户可根据实际需要进行勾选。
如 SQL 代码示例为：
INSERT INTO new_employees (id, name, department, salary) SELECT id, name, department, salary FROM employees WHERE department = 'IT';
在调度设置界面，单击依赖推荐后，便可自动返回 employees 表所在的任务，作为上游依赖项。LAS SQL、Apache Hadoop 引擎下的 SQL 任务类型，若依赖的表还没有对应的产出任务，则依赖推荐时，会推荐相应的 Sensor 任务，您可按需进行依赖。Sensor任务详见LAS Hive sensor任务说明。
说明
依赖推荐返回上游任务，需满足以下条件：
- 若表数据是由 Shell、Python、Spark 或 Perl 等上游任务类型产出，则您需手动进行任务产出数据的登记操作，详见任务产出数据登记；若表数据是由离线集成通道任务、离线整库解决方案等数据集成任务产出，集成任务类型将自动把任务目的端库表信息登记为该任务的产出信息，此时可跳过手动登记产出数据操作。
- 所需依赖的上游任务已提交发布至运维中心；
满足条件后，下游 SQL 开发任务便能够直接在 SQL 代码中使用相应产出的库表名称信息，依赖推荐能力将自动返回产出库表对应的任务，将其作为上游依赖项。
手动添加
通过手动方式添加上游任务，用户可根据任务名称/ID、数据表信息，在指定项目或全局项目中搜索对应任务，并将其添加为上游。
说明
- 搜索在当前项目下的任务时，可支持搜索草稿状态和已发布上线的任务；搜索跨项目下的任务时，仅支持搜索已发布上线的任务。
- 当无法找到需要的任务时，建议进行以下操作：
- 继续补充任务名称做模糊搜索；
- 选择任务所在的具体项目来准确搜索；
- 增加第一页显示的条数；
搜索不全的原因：根据任务名称做全局搜索（模糊搜索）时，可能给平台带来较大查询压力，因此仅返回第1页的内容。
导出依赖
当任务添加了上游依赖后，您可单击导出依赖按钮，将依赖关系导出为 CSV 文件，便于本地进行依赖任务对比与管理。
依赖设置-指定偏移量
指定偏移量在依赖不同调度频率的任务或调度日期出现偏移时，需要手动设置偏移量。
说明
指定偏移量配置方式时，系统默认会填充偏移量参数，但默认设置的偏移量仅适用于典型情况，若默认值不适用于当前任务场景，您可手动进行偏移参数调整。
依赖配置方式下拉选择指定偏移量；
选择集合或区间偏移形式，来设置依赖偏移参数。上下游任务频率不同，依赖实现机制也不相同，具体分为以下三大类：
上下游频率类型
依赖实现机制
实际案例
偏移设置示例（区间/集合 偏移量 偏移单位）
同频依赖
当前任务实例的业务时间+偏移量*偏移单位=上游任务实例的业务时间。
- 天任务依赖天任务，依赖上游任务同一天执行的实例
- 天任务依赖天任务，依赖上游任务前一天执行的实例
- 集合 0 天
- 集合 -1 天
大频率依赖小频率
当前任务实例的业务时间+偏移量*偏移单位+业务时间补偿值=上游任务实例的业务时间；
PS：业务时间补偿值 =（同一执行时间，小频率任务实例对应业务时间）-（同一执行时间，大频率任务实例对应业务时间）；
示例：当天依赖小时，业务时间补偿值=23小时。天任务依赖小时任务，依赖上游任务昨天执行的24个小时实例
区间 -23,0 小时
小频率依赖大频率
依赖“（当前任务实例的业务时间-（偏移量+1）偏移单位）～（当前任务实例的业务时间-偏移量偏移单位）”时间范围内，上游任务对应业务时间的实例；
PS：上述时间范围左闭右开小时任务依赖天任务，依赖上游最近2天执行的实例
集合 -1,0 天
说明
不同频率的上游任务，对应偏移单位说明：
- 月任务：偏移单位=月，代表1月；偏移单位=天，代表1天；
- 周任务：偏移单位=周，代表1周；偏移单位=天，代表1天；
- 天任务：偏移单位=天，代表1天；
- 小时任务：偏移单位=小时，代表1小时；
- 分钟任务：偏移单位=分钟，代表5分钟；（目前分钟级别任务，最小频率为：每5分钟执行一次）。
偏移参数设置完成后，您可单击依赖预览按钮，可以查看按照当前的依赖设置，并根据实际情况选择指定的业务时间，来预览上下游任务指定业务日期下的实例依赖关系，方便及时验证偏移设置是否符合预期。
配置示例请参见“任务上游依赖偏移设置”。
更多设置操作
依赖关系设置中，更多操作说明如下：
操作 | 说明 |
|---|---|
依赖预览 | 依赖设置完成后，可通过“依赖预览”，查看按照当前的依赖设置，上下游任务最新业务日期的实例依赖关系，方便及时验证偏移设置是否符合预期。 |
删除 | 删除已设置的上游依赖。 |
任务自依赖设置-跨周期自依赖 | 若任务需要依赖自己上一周期的数据产出，则跨周期自依赖设置为“是”即可。例如当天任务的执行，依赖昨天的运行结果，跨周期自依赖可选择“是”。 说明 当任务依赖关系中设置自依赖关系时，此处最早回溯时间，默认会自动填充最早回溯日期，为任务“业务日期-1”。 |
输入输出参数
通过任务的输入输出参数，可支持任务使用自定义参数，该参数可来源于上游任务，任务所在项目或是自定义内容值。输入输出参数的使用，详见“任务输入输出参数”。
- 任务输入参数：任务设置输入参数后，可在任务内部使用，具体使用方式为{{参数名}}
- 手动添加：单击后添加输入参数，输入参数来源可分为三类：
- 任务：通过上游任务，将上游任务的任务、实例信息，作为输入参数。
- 项目：引用项目参数作为任务的输入参数，参数值在项目参数中设置。
- 自定义：仅在当前任务中使用的参数，直接定义参数内容。
- 编辑：编辑输入参数的内容。
- 删除：删除输入参数。
- 手动添加：单击后添加输入参数，输入参数来源可分为三类：
- 任务输出参数：设置任务的输出参数，任务上线后，即可在下游节点中使用，作为下游节点的输入参数的取值，输出参数的取值分为常量和变量两种类型。
- 手动添加：单击后添加输出参数。
- 将运行结果当作输出：对于Shell/Python/LAS SQL/HSQL（包含 Hadoop HSQL、CDH-TBDS HSQL、CDH-MRS HSQL、CDH-EMR HSQL、CDH HSQL）/StarRocks几种类型的任务，允许将实例运行结果并作为结果变量，通过“outputs”进行传递。
- shell/python任务：收集最后一行stdout/err的结果作为输出参数。
- LAS SQL/HSQL（包含 Hadoop HSQL、CDH-TBDS HSQL、CDH-MRS HSQL、CDH-EMR HSQL、CDH HSQL）/StarRocks任务：收集最后一行select的输出。
- 编辑：编辑输出参数的内容。
- 删除：删除输出参数。
- 手动添加：单击后添加输出参数。