You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
下载 pdf
通用引擎
Shell任务
复制全文
下载 pdf
Shell任务

DataLeap 提供 Shell 任务类型,可支持资源的引用、配置参数以及编辑 Shell 脚本来满足您的业务场景需求。本文将为您介绍 Shell 任务配置说明。

新建任务

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 任务开发,进入任务开发页面。
  3. 单击新建任务 > 数据开发 > 通用 > Shell 按钮。
    Image
  4. 填写任务基本信息:
    1. 任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且在127个字符以内。
    2. 保存至:选择任务存放的目标文件夹目录。
  5. 点击确认按钮,成功创建任务。

任务配置

任务创建完成后,进入 Shell 脚本编辑界面,完成以下配置步骤:

  1. Shell 脚本编辑:
    Image

    序号

    说明

    1

    编辑满足业务场景的 Shell 命令语句。

    说明

    • 支持 ping、telnet、ssh 等命令方式执行语句。
    • 手动编写Shell执行业务逻辑,本地环境已挂载或部署以下组件。举例说明:
      已挂载
      /opt/xxx/spark_deploy
      /opt/xxx/hive_deploy
      /opt/xxx/yarn_deploy
      /opt/xxx/ss_lib
      已部署
      pyutil = /opt/xxx/pyutil
      ss_conf = /opt/xxx/ss_conf
      ss_conf_maliva = /opt/xxx/ss_conf_maliva
      data/inf/bytesnake = /opt/xxx/bytesnake
      inf/flink_deploy = /opt/xxx/flink_deploy
      

    2

    可根据需要,选择相应的资源,可选资源类型有File、Zip、Jar包。

    • Jar、File类型:资源运行前会下载到当前目录。
    • Zip类型:运行前会将对应的zip解压到当前目录。

    3

    任务产出数据登记:详细说明可参见“任务产出数据登记”。

    4

    任务模板,直接引用创建好的任务模板,快速配置任务,详细说明可参见“引用任务方式”。

  2. 变量说明:
    Shell任务默认提供以下变量:

    • export DORADO_FLOW_UNIQ_ID=工作流ID_triggerId_业务时间 (当前实例的唯一标示)
    • export DORADO_FLOW_ID=工作流ID
    • export DORADO_TASK_ID=任务ID
    • export DORADO_INSTANCE_ID=实例ID
    • export DORADO_OWNER_USER_NAME=执行人
    • export DORADO_TASK_TIME=业务时间
    • export DORADO_REGION=地区
    • export DORADO_TRIGGER_TYPE=运行类型(系统调度/重跑/调试/回溯)
    • export DORADO_TASK_NAME=任务名称
    • export SHELL_SEC_TOKEN_STRING=GDPR token
  3. 脚本编辑完成后,您可单击右侧侧边栏的调度设置,配置调度执行频率、任务执行高级参数(包括执行 CPU、MEN 资源设置)、任务失败重跑次数、调度上下游依赖等参数。
    Image
    详见调度设置

调试运行并提交

任务配置完成后,您可单击操作栏中的保存调试按钮,进行任务调试。
调试结果无误后,单击提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:提交上线

注意

  • 调试操作,直接使用线上数据进行调试,需谨慎操作。
  • 如果租户项目管理员在项目控制台>流水线管理中启用了流水线流程校验,则您需要确保提交的任务符合流水线扩展程序的校验规则,才能成功提交。详见4 流水线管理

后续任务运维操作详见:离线任务运维

最近更新时间:2025.12.04 17:55:52
这个页面对您有帮助吗?
有用
有用
无用
无用