You need to enable JavaScript to run this app.
导航
参数信息设置
最近更新时间:2025.11.17 11:37:26首次发布时间:2022.09.26 20:53:58
复制全文
我的收藏
有用
有用
无用
无用

通过在开发、生产环境,定义同一项目参数的不同内容值,可轻松实现开发、生产环境不同参数值的替换。

1 约束限制

  1. 仅项目管理员可以配置项目参数信息。
  2. 仅主账号可以编辑、删除所有已加密的参数,其他管理员仅可编辑、删除自己创建的加密参数。
  3. 目前参数加密能力仅限 Shell、Python、EMR Serverless Spark SQL/Java/Python 几种任务类型生效,后续将陆续支持其余类型。

2 操作步骤

  1. 登录 DataLeap 控制台
  2. 单击左侧导航栏的项目管理,进入项目管理页面。
  3. 勾选我管理的选项,显示由您管理的项目列表。
  4. 单击项目列表中要管理项目操作列的任一按钮,进入项目控制台
  5. 单击左侧导航栏的参数信息,进入参数信息页面。
    Image
  6. 按需配置项目级参数。
    • 新建参数
      单击新建参数按钮,设置参数信息后,单击确定按钮,完成创建。
      相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

      参数

      说明

      *参数名称

      任务中使用的参数名称。
      自行设置,仅可由英文、数字或下划线组成。

      *开发环境参数值

      设置任务调试时参数变量实际传入的值。

      是否加密

      您可按需选择是否加密开发环境参数值。
      若勾选是否加密,则参数创建成功后,仅参数创建者主账号可在编辑页面查看实际值,其他人查看时,该参数值则显示为****,且在数据开发调试运行设置时,也会以加密方式透出。

      说明

      是否加密一旦设定,不可更改。

      *生产环境参数值

      设置任务上线后参数变量传入的值。

      说明

      若任务调试时和上线后,参数变量的值一致,可填写与开发环境相同的参数值。

      是否加密

      您可按需选择是否加密生产环境参数值。
      若勾选是否加密,则参数创建成功后,仅参数创建者主账号可在编辑页面查看实际值,其他人查看时,该参数值则显示为****。

      说明

      是否加密一旦设定,不可更改。

      描述

      参数的描述信息,以便后续管理。

    • 编辑参数

      1. 单击列表中某个参数信息操作列的编辑按钮,在弹出的更新参数内容窗口中,修改参数信息。
      2. 单击确定按钮,在弹出的变更影响窗口中,可查看所有引用该参数的离线和实时任务列表。
      3. 单击确定按钮,完成修改。

      说明

      • 仅当参数存在关联任务且修改其生产环境参数值时,才会弹出变更影响窗口进行确认。
      • 实时任务会自动进行上线前的检查,并可单击任务左侧的折叠按钮查看具体检查项的通过情况。
        • 若检查全部通过,可直接确认修改。
        • 若存在检查未通过项,则勾选“当前存在未通过检查项,我已知晓风险”后,仍可确认修改。
      • 参数更新后,引用该参数的任务将受到影响,其中离线任务即时生效,实时任务需重启后生效。
    • 删除参数
      单击列表中某个参数信息操作列的删除按钮,在弹出的确认对话框中,单击按钮,即可删除该参数信息。

    • 查看关联任务
      单击列表中某个参数信息关联任务列的流任务批任务按钮,可以跳转到相应的任务运维页面,查看该参数关联的实时或离线任务。

3 使用案例

用户希望同一套代码能实现在不同执行环境下,自动区分不同的引擎环境参数和时间变量参数。下面以 EMR Serverless Spark SQL 任务为例,讲解如何利用项目参数,来区分不同环境库和时间格式的查询。

3.1 准备案例数据

  1. 创建开发测试、生产两个环境的 LAS Catalog 库。创建 LAS Catalog 库的操作说明请参见管理 LAS Catalog 库
    • 测试环境库:test_dev
    • 生产环境库:test_prod
  2. 在对应库下,分别创建一个数据表 test_table_spark。创建 LAS 表的操作说明请参见管理 LAS 表
    • 非分区字段:包含 3 个字段,名称自行设定。
    • 分区字段:名称设置为 datetimes
  3. 打开或创建一个 EMR Serverless Spark SQL 任务,运行如下代码示例,向两个数据表中各插入一条数据。配置任务的操作说明请参见 EMR Serverless Spark SQL
    insert into test_dev.test_table_spark partition(datetimes = '20221017') values('1', 'libai', 'shanghai');
    
    insert into test_prod.test_table_spark partition(datetimes = '2022-10-17') values('1', 'libai', 'shanghai');
    

3.2 配置参数

请在同一个项目下执行以下参数配置操作。

  1. 新建参数
    参数信息页面,新建两个参数,并将 db_name 参数勾选加密。

    • 参数名称分别为 argtestdb_name
    • 开发环境参数值分别为 ${date}test_dev
    • 生产环境参数值分别为 ${DATE}test_prod
      Image
  2. 使用参数
    左上角全部产品中进入数据开发页面,创建一个 EMR Serverless Spark SQL 任务,名称为项目输入参数
    欲了解更多任务配置和输入输出参数的相关说明,请参见 EMR Serverless Spark SQL输入输出参数设置

  3. 编辑代码

    --项目参数可通过{{输入参数名}}的方式,直接在脚本中进行使用。
    SELECT * from {{db_name}}.test_table_spark WHERE datetimes='{{argtest}}' ;
    
  4. 调试运行
    单击调试图标按钮,在弹出的窗口中,打开运行参数按钮,查看设置的项目参数,单击提交测试按钮。

    • 查询开发库表:argtest 设置为 ${date}db_name 设置为 test_dev
    • 查询生产库表:argtest 设置为 ${DATE}db_name 设置为 test_prod

    说明

    加密的项目参数,参数创建者和主账号可通过右侧「查看」按钮,查看加密参数的具体值。其他账号无查看权限,仅显示为****,您可根据实际需求手动替换参数的调试值进行测试。

    Image

  5. 查看替换结果
    代码运行成功后,在日志页面,可以查看替换结果。

    • 开发环境下的解析执行语句为:

      SELECT * from test_dev.test_table_spark WHERE datetimes='20251029';
      

      Image

    • 任务提交至运维生产环境后,解析的执行语句为:

      SELECT * from test_prod.test_table_spark WHERE datetimes='2025-10-29';
      

      Image

    说明

    解析出的时间为获取业务时间日期。欲了解更多时间变量,请参见平台时间变量与常量说明或者页面右上角的参数说明