AI 数据湖服务(LAS)具备可视化工作流能力,可实现多数据处理任务的可视化编排与调度执行。工作流本质是包含多个子任务的 “父任务”,触发工作流即触发其包含的所有子任务。本文为您介绍如何使用工作流。
登录LAS 控制台,依次选择数据处理 > 工作流 > 创建工作流,进入新建工作流页面。
点击添加任务,在添加任务弹窗中选择待执行的任务,点击添加。
添加完成后,单击画布中的任务节点,在弹出的侧边框中设置任务的执行配置。
参数 | 配置说明 |
|---|---|
资源 | 选择当前任务运行使用的队列资源。 注意 当前LAS AI支持独占队列和普通的计算队列两种队列资源,推荐您使用独占队列(即EMR Serverless队列),可提高队列资源利用率和灵活度。更多队列的介绍请参见队列管理。 |
设置资源分配 | 以Daft类型的任务为例,您需要为Daft的Head & Worker节点分配队列资源。 |
入口命令 | 系统根据您创建的任务配置结果为您预填了后续任务的入口命令,如果有变更,您可直接修改。 |
Daft 环境变量 | 您可设置任务的环境变量。 |
配置完成后,编排上下游任务并进行连线。
配置完成后,点击右上角保存并执行。
查看执行记录可对任务在执行过程中产生的时间、内容、结果等相关信息进行回溯。
进入工作流,并点击执行记录子页面。
查看对应的执行记录。其中会展示所有节点的执行状态,以及对应的任务、任务实例链接。
用户可为特定任务设置周期调度,以实现工作流的重复执行。
点击工作流编辑页面右上角的周期调度。
在周期调度弹窗中启动周期调度,并设置周期调度周期。
设置完成后,点击右上角保存。