最近更新时间:2022.09.07 11:50:10
首次发布时间:2022.08.08 16:01:00
任务执行前,如需要依赖上游 HDFS 数据就绪才执行当前任务时,可将 HDFS 数据依赖转化成 HDFS-sensor 任务依赖。
当项目绑定引擎为 LAS 类型时,可见 LAS HDFS-sensor 任务。
Sensor 任务进行数据检查时,建议不使用偏移设置,若下游依赖该 Sensor 任务所需数据分区存在偏移时,在对应任务的调度设置中,填写偏移量即可。
Sensor 任务默认失败重试 600 次,每隔 5min 重试一次,超过 600 次后,不再重试。后续如果数据就绪,请重跑 Sensor 对应的实例。
登录 DataLeap租户控制台 。
在 概览 界面,显示加入的项目中,点击 数据开发 进入对应项目。
在 任务开发 界面,左侧导航栏中,点击 新建任务 按钮,进入 新建任务 页面。
选择任务类型:
分类:数据开发
绑定引擎:LAS
关联实例:默认关联实例为default。
选择任务:LAS HDFS-sensor类型,可以实现对HDFS文件路径下数据的监控。
任务基本信息:
任务名称:输入任务名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需要控制在127个字符以内。
保存至:选择任务保存目录位置。
任务描述:输入当前任务的描述。
任务名称:新建任务时输入的任务名称。
描述:添加描述方便后续查看和管理,非必填。
责任人:任务所属责任人。
数据来源:
实时任务产出:由于LAS引擎暂未支持“Kafka->Hive“/“Kafka->HDFS“等流式Dump任务,因此该入口暂不开放。
自定义数据来源方式。
数据所属引擎:LAS 及对应default实例。
SUCCESS 标签地址:HDFS 数据对应的 Success 地址,Success标签地址中输入${date}或${hour}时,系统会根据标签自动识别分区,如lasfs:/public/tmp/task_1/${date}/${hour}/_success_file_name 通常对应小时级别任务:
${date} 业务时间日期,格式为:yyyymmdd,如:20150526。
${hour} 业务时间整点,用于小时级别任务,格式为: hh,如:02。
调度资源组:系统默认公共资源组。
调度周期:选择希望 Sensor 任务执行的周期,如天级别,或小时级别。
执行时间:选择调度周期后,展示调度时间选择选项:
小时级:设置每次在某一小时的 XX 分执行,可以多选小时;
天级别:可设置每天 XX 时,XX 分执行。
检查次数:默认失败重试 600 次。
检查间隔:默认每隔 5 min 重试一次。
任务配置完成后
点击上方工具栏中的 调试 按钮。
选择业务日期进行调试,检测对应文件路径下HDFS数据文件是否存在。
任务参数设置完成后,点击上方工具栏中的 提交上线 按钮,在 提交上线 对话框中,选择 回溯数据、监控设置、提交设置 等参数。
提交上线参数设置,详见:数据开发流程引导---离线任务提交发布。