You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
任务模板
编辑任务模板
复制全文
编辑任务模板

单击任务模板名称,打开模板编辑器,您可在编辑器中输入通用的代码逻辑,或者选择通用的参数信息。以下为简单示例脚本:

说明

对已有任务模板做更新时,需确认是否对已引用的任务有影响,可以在右侧引用记录中,查看任务引用的模板版本,需谨慎更新任务模板。

HSQL任务模版

  1. 输入通用代码逻辑,表名、字段名分别可以用@{type1}、@{tablename}表示,时间参数仍可用${}获取,以下为简单代码示例:

    select @{type1}, @{type2} from @{tablename} WHERE date = '${date}';
    
  2. 参数设置

    • 自动解析参数:您可以根据代码逻辑,来自动解析模板中需要使用到的参数信息。
    • 新增参数:可以自定义添加模板额外需要填写的参数信息。
      Image
  3. 功能区按钮说明:

    参数

    说明

    格式化

    依据在个性化设置中的SQL格式化风格的设置,格式化书写的代码,使其语法结构看起来简洁明了。

    表管理

    快速建表:若数据需要存入的Hive表尚未创建,则编写完SQL语句后,可基于解析代码,跳转到数据地图上,可快速填充建表页面。

    执行引擎

    支持Spark执行引擎

  1. 在任务模板的代码开发编辑界面,通过DDL和DML编写通用SQL,表名、字段名分别可以用@{type1}、@{tablename}表示,以下以Flink Streaming SQL示例代码为例:

    CREATE  TABLE @{tablename1}(
               @{type1}  VARCHAR,
               @{type2}  INT,
               @{type3}  VARCHAR,
               ts    AS localtimestamp
          )
          WITH (
                'connector' = 'datagen',
                'rows-per-second' = '1'
            );
     
    CREATE  TABLE @{tablename2} (@{type1} STRING,  @{type2} INT, @{type3} STRING)
            WITH ('connector' = 'print');
     
    INSERT INTO @{tablename2}
    SELECT  @{type1},
            @{type2},
            @{type3}
    FROM    @{tablename1};
    
  2. 数据源格式
    编辑完SQL逻辑后,您可选择是否开始数据源格式定义,开启数据源格式后,可继续完成以下操作:

    1. 数据源类型:支持json、pb的数据源类型。

    2. Pb类定义:数据源类型为pb时,需指定Pb类定义文件,只支持一个Pb类定义,示例如下:

      syntax = "proto2";
      package abase_test;
      message AbaseTest {
      required int64 first_id = 1;
      required int64 latest_id = 2;
      }
      
    3. Pb入口message:数据源类型为pb时,定义Pb入口的message信息,如:AbaseTest。

  3. 参数设置

    • 自动解析参数:您可以根据代码逻辑,来自动解析模板中需要使用到的参数信息。
    • 新增参数:可以自定义添加模板额外需要填写的参数信息。

Image

Shell任务模板

  1. 单击任务模板名称,打开模板编辑器,您可在编辑器中输入通用的Shell脚本逻辑,或者选择通用的参数信息。以下为简单示例脚本:

    #! /bin/bash
    function commonFunction() {
    ARGS=`getopt -a -o u:p: -l yarn_cluster:,yarn_queue:, -- "$@"`
    if [ $? != 0 ];
        then echo "Terminating"
        exit 1
    fi
    eval set -- "${ARGS}"
    while true; do
            case "$1" in
                -u|--yarn_cluster)
                    yarn_cluster="$2"
                   shift
                   ;;
                -p|--yarn_queue)
                    yarn_queue="$2"
                    shift
                    ;;
                --)
                   shift
                    break
                    ;;
                
            esac
        shift
    done
     
    echo ${yarn_cluster}
    echo ${yarn_queue}
    }
     
    commonFunction
    
  2. 参数设置
    您可在界面下方,单击新增参数组按钮,进行以下操作:

    • 参数组名:输入参数组名,一个参数组名下,允许包含多个参数名称。
      a. 新增参数:在当前参数组名下,添加多个参数配置。
      b. 设置:自定义参数的前缀内容;参数和参数内容之间的连接符号。
      c. 删除:支持删除整个参数组内容。
      Image
    • 参数名称:
      a. 自定义脚本中所需的参数名称、默认值、字段类型(包含String和JSON类型)、参数说明等信息。
      b. 同时您也可以将参数定义是否为必填参数,以及任务模板被引用时,对应的参数是否加密,使参数信息更保密,通常用于用户名密码作为参数传入时。

说明

Shell任务模板参数替换逻辑如下:

  1. 在参数设置中,添加脚本中需使用到的参数名称:yarn_cluster、yarn_queue,根据实际场景填入默认值,您也可选择不填写,直接在shell任务引用模版时替换。
  2. 填入的参数和参数值,将会拼接在最后一行脚本中,如在以上示例代码中,shell 任务引用后,最后一行脚本被替换为:commonFunction -yarn_cluster=chris -yarn_queue=script,整体通过读取参数值,并调用commonFunction函数方法,使用getopt来解析执行。

Java Flink任务模板

在Java Flink的任务模板编辑界面,您可以添加 Java Flink 作业需要使用到的 Flink 参数信息,同时您也可以设置更多的自定义参数在任务中使用:

  1. 固定参数:添加Flink作业的固定参数信息,依次添加参数名称、参数值(数值类型)、参数说明等信息。
  2. 计算参数:将“固定参数”和flink任务资源参数当作变量计算,公式支持 + - * / () 以及数字,或者输入“@” 符号,可选择已有变量,例如:(@{固定参数key}+@{JM_CORESa})*2 。
最近更新时间:2024.12.19 17:02:13
这个页面对您有帮助吗?
有用
有用
无用
无用