You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
通用引擎
Shell任务
复制全文
Shell任务

DataLeap 提供 Shell 任务类型,可支持资源的引用、配置参数以及编辑 Shell 脚本来满足您的业务场景需求。本文将为您介绍 Shell 任务配置说明。

新建任务

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 任务开发,进入任务开发页面。
  3. 单击新建任务 > 数据开发 > 通用 > Shell 按钮。
    Image
  4. 填写任务基本信息:
    1. 任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且在127个字符以内。
    2. 保存至:选择任务存放的目标文件夹目录。
  5. 点击确认按钮,成功创建任务。

任务配置

任务创建完成后,进入 Shell 脚本编辑界面,完成以下配置步骤:

  1. Shell 脚本编辑:
    Image

    序号

    说明

    1

    编辑满足业务场景的 Shell 命令语句。

    说明

    • 支持 ping、telnet、ssh 等命令方式执行语句。
    • 手动编写Shell执行业务逻辑,本地环境已挂载或部署以下组件。举例说明:
      已挂载
      /opt/xxx/spark_deploy
      /opt/xxx/hive_deploy
      /opt/xxx/yarn_deploy
      /opt/xxx/ss_lib
      已部署
      pyutil = /opt/xxx/pyutil
      ss_conf = /opt/xxx/ss_conf
      ss_conf_maliva = /opt/xxx/ss_conf_maliva
      data/inf/bytesnake = /opt/xxx/bytesnake
      inf/flink_deploy = /opt/xxx/flink_deploy
      

    2

    可根据需要,选择相应的资源,可选资源类型有File、Zip、Jar包。

    • Jar、File类型:资源运行前会下载到当前目录。
    • Zip类型:运行前会将对应的zip解压到当前目录。

    3

    任务产出数据登记:详细说明可参见“任务产出数据登记”。

    4

    任务模板,直接引用创建好的任务模板,快速配置任务,详细说明可参见“引用任务方式”。

  2. 变量说明:
    Shell任务默认提供以下变量:

    • export DORADO_FLOW_UNIQ_ID=工作流ID_triggerId_业务时间 (当前实例的唯一标示)
    • export DORADO_FLOW_ID=工作流ID
    • export DORADO_TASK_ID=任务ID
    • export DORADO_INSTANCE_ID=实例ID
    • export DORADO_OWNER_USER_NAME=执行人
    • export DORADO_TASK_TIME=业务时间
    • export DORADO_REGION=地区
    • export DORADO_TRIGGER_TYPE=运行类型(系统调度/重跑/调试/回溯)
    • export DORADO_TASK_NAME=任务名称
    • export SHELL_SEC_TOKEN_STRING=GDPR token
  3. 脚本编辑完成后,您可单击右侧侧边栏的调度设置,配置调度执行频率、任务执行高级参数(包括执行 CPU、MEN 资源设置)、任务失败重跑次数、调度上下游依赖等参数。
    Image
    详见调度设置

调试运行并提交

任务配置完成后,您可单击操作栏中的保存调试按钮,进行任务调试。
调试结果无误后,单击提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:提交上线

注意

  • 调试操作,直接使用线上数据进行调试,需谨慎操作。
  • 如果租户项目管理员在项目控制台>流水线管理中启用了流水线流程校验,则您需要确保提交的任务符合流水线扩展程序的校验规则,才能成功提交。详见4 流水线管理

后续任务运维操作详见:离线任务运维

最近更新时间:2025.12.04 17:55:52
这个页面对您有帮助吗?
有用
有用
无用
无用