最近更新时间:2023.08.17 11:01:25
首次发布时间:2022.06.23 18:24:58
满足 Shell 开发业务场景,支持标准 Shell 语法及引用镜像完成开发。
已开通DataLeap服务。
Shell任务访问私有网络服务或资源时,需通过独享计算资源组访问,Shell 任务界面不支持单独修改网络配置。
注意
若仅开通 Dataleap大数据集成服务,不支持创建 Shell 任务。
登录 DataLeap租户控制台。
在概览界面,显示加入的项目中,点击数据开发进入对应项目。
在任务开发界面,左侧导航栏中,点击新建任务按钮,进入新建任务页面。
选择任务类型:
分类:数据开发。
绑定引擎:通用。
选择任务:离线数据 Shell。
填写任务基本信息:
任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且在127个字符以内。
保存至:选择任务存放的目标文件夹目录。
点击确认按钮,成功创建任务。
任务创建成功后,进入代码开发编辑界面。
echo "Hello World !"
echo ${date}
您可通过手动下拉的方式,选择访问任务数据源导入或导出所在的私有网络(VPC)、子网和安全组等网络信息。
说明
若是子账号登录创建任务时,选择网络环境需具备相关服务使用权限,需主账号在访问控制中,添加 DataLeapFullAccess 权限。
当项目已绑定独享计算资源组时,您也可通过独享计算资源组访问私有网络下的资源、服务等。网络配置信息来均源于独享计算资源组信息,暂不支持在任务界面直接修改,您可在创建独享计算资源组时,配置好对应的私有网络信息,详见:资源组管理。
产出数据登记用于记录任务的数据血缘,不会对代码逻辑造成影响。
引擎类型:E-MapReduce(EMR)和湖仓一体分析服务(LAS)、默认(没有产出登记)。
关联实例:选择关联对应引擎下的实例信息。
数据类型:仅 EMR 引擎类型下需选择数据类型,目前有 Hive、HDFS、其他。
数据库表:选择对应引擎下产出的数据库和数据表。
单击进入右侧侧边栏执行设置窗口。
选择计算资源组:支持选择公共计算资源组,独享计算资源组。
镜像地址:
支持您自定义镜像,建议使用火山引擎镜像仓库,使用时需要基于 DataLeap 提供的基础镜像进行构建,并且镜像类型选择“公有”,默认的基础镜像地址如下:
北京地域:dataleap-cn-beijing.cr.volces.com/studio/runtime_light:online。
上海地域:dataleap-cn-shanghai.cr.volces.com/studio/runtime_light:online。
说明
基础镜像地址中仅包含最基础的 Linux 和 Python 命令,实际生产场景下,您可基于基础镜像地址,来构建符合实际生产要求的镜像。
若您自定义镜像的文件中有需加密的文件,希望该镜像文件只允许被固定任务使用,则您可以创建私有镜像类型,并将镜像仓库地址、用户名及密码等私有镜像配置信息,添加至独享计算资源组中,通过独享计算资源组来访问镜像文件。修改资源组镜像配置操作详见资源组管理。
私有镜像地址需要您手动填写 OCI 制品仓库中,具体镜像版本对应的网络地址信息,以实际填写的镜像地址为准。若遗漏填写的情况下,会访问到默认的基础镜像地址。
DataLeap 额外提供了以下镜像地址,您可根据实际场景进行使用:
镜像地址 | 说明 |
---|---|
dataleap-cn-beijing.cr.volces.com/studio/datax:v1 | 包含 DataX 工具集的公共镜像地址,您可使用该镜像地址,通过 Shell 任务,使用 DataX 的数据集成同步框架,创建各数据源间的通道任务,最佳实践案例详见:Shell 调用 DataX。 |
dataleap-cn-beijing.cr.volces.com/studio/mysql:0.0.1 | 您可使用该镜像地址,通过 DataLeap 中的 Shell 节点任务,来访问或操作火山引擎 E-MapReduce(EMR) Doris 数据库中的数据表信息。最佳实践案例详见:Shell 执行 EMR Doris SQL 任务。 |
资源配置:资源可根据实际需求进行配置,以 CU 为单位,默认配置 1CU(1CU = 1Core 4GB),下拉可选择更多规格的资源配置。
说明
其中 0.25CU、0.5CU 规格,仅独享计算资源组支持选择。
单击任务模板按钮,您可以选择是否通过任务模板方式,便捷快速的复用代码模板逻辑,在弹窗中选择使用 Shell 任务模板,并选择相应的版本号,输入替换的参数即可完成复用。
注意
使用任务模板时,界面编辑器、以及执行设置中的镜像地址, 不支持再次编辑,若当前任务模板代码,不符合您当前业务场景逻辑,您可通过修改或新建任务模板,形成新版本的任务模板,来实现不同业务场景的复用。
修改模板时,需注意其他任务引用情况,操作说明详见:任务模板。
进入右侧边栏调度设置,配置节点调度相关属性。设置操作详见:调度设置。
注意
Shell任务上游依赖设置,不支持依赖推荐功能,只能通过手动添加的方式,添加上游依赖关系。
配置完成后,单击上方操作栏中保存图标按钮,保存节点至服务器。
单击操作栏中调试图标按钮,执行编辑的Shell命令,执行成功后,可在界面下方查看运行日志和结果。
任务所需参数配置和调试任务成功后,将任务提交发布到运维中心离线任务运维中执行。
单击操作栏中的提交上线按钮,在弹窗中,需先通过提交事前检查和提交上线等上线流程,最后单击确认按钮,完成作业提交。详见概述---离线任务提交发布。
注意
上线流程中的“提交事前检查”,需租户主账号或项目管理员先在项目控制台 > 流水线管理中,创建相应的流水线检查事宜后方可显示。详见流水线管理。
后续任务运维操作详见:离线任务运维。