You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
湖仓分析一体服务LAS引擎
LAS SQL任务
复制全文
LAS SQL任务

通过SQL语句,从源LAS表中获取待加工数据,完成后写入目标LAS表,支持Spark执行引擎。

新建任务

任务配置步骤如下:

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 任务开发,进入任务开发页面。
  3. 单击新建任务 > 数据开发 > LAS引擎 > LAS SQL任务按钮,新建LAS SQL任务。
  4. 单击该任务,进入LAS SQL语句页面,配置任务相关信息。
  5. 填写任务基本信息:
    1. 任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需要在127个字符以内。
    2. 保存至:选择任务存放的目标文件夹目录。
      Image
  6. 单击确定按钮,完成任务创建。

任务配置

任务创建完成后,您便可进入LAS SQL任务编辑界面,在配置界面中您可按需编写LAS支持的SQL语法。

  1. 编辑任务
    在代码编辑器界面,输入对应 LAS SQL语句,示例如下:

    //方式1静态分区,场景:根据数据到来的频率,新数据的到来时间确定,分区的值是确定的。
    insert overwrite table 目标源库名.目标表名 partition (date = "${date}")
    select
        name,
        age
    from
        源库名.源表名
    where
        date = "${date-1}";
        
    //方式2动态分区,谨慎使用,根据已有数据进行动态分区,分区的值是非确定的。
    insert overwrite table 目标源库名.目标表名 partition (p_date,app)
    select
        user_id,
        date as p_date,
        app_name as app//分区字段
    from
        源库名.源表名
    where
        date = "${date-1};
    
  2. 智能代码编辑器介绍
    LAS SQL任务编辑器支持智能联想及补全能力。编写SQL时自动触发智能联想库名/表名/字段名称,提升SQL编辑效率。
    Image

    • 编写SQL自动触发库名/表名/字段名称联想。
    • 联想内容输入Tab触发库名/表名/字段名自动补全。
    • 鼠标Hover表名/字段名显示详情说明,如字段名称、类型、说明等。
    • 同时提供快速入口跳转至数据地图,查看表详情,支持快捷操作“键盘cmd+鼠标click表名”的方式,自动跳转至数据地图表详情页。
  3. 表管理

    • 快速建表
      若数据需要存入LAS表,且LAS表尚未创建,则编写完SQL语句后,单击表管理 > 快速建表按钮,进入新建数据表页面,可基于解析代码快速填充建表页面。
      Image
    • 修改数据表
      单击表管理 > 修改数据表按钮,可以跳转至数据表编辑页面,进行表信息调整。
  4. 编辑区界面更多功能说明如下表:
    Image

    序号

    功能

    说明

    1

    主题设置

    单击页面左下角的主题设置图标,可根据需要,设置编辑器背景、字号、风格等。

    2

    格式化

    单击右上方的格式化按钮,依据在编辑器设置中的SQL格式化风格的设置,可以格式化书写代码,使其语法结构看起来简洁明了。

    3

    解析

    自动解析LAS SQL语法错误,一般用于运行前操作,帮助发现代码中的错误,提高查询效率。

    4

    执行引擎

    默认支持Spark执行引擎。

    5

    参数说明

    代码中可使用时间变量说明,如 ${DATE}、${hour}等。

    6

    编辑器全屏

    单击编辑器右下角的全屏图标,编辑器全屏显示编码区域。

调度设置

任务配置完成后,您可单击右侧侧边栏的调度设置,配置调度设置参数。调度设置说明详见“调度设置”。

调试任务

  1. 单击解析按钮,检验SQL语法是否正确。
  2. 单击左上角的调试图标,运行任务。

    说明

    如果项目中添加了相关的建表规范管理,则LAS SQL语句中,包含建表逻辑,且创建的表在建表规范生效范围内时,您在对任务的解析运行提交时,会触发相应的建表规范检查。建表规范操作说明请参见“建表规范管理”。

  3. 调试成功后,可展开页面下方的查询控制台,查看调试记录、运行状态等。
  4. 单击保存图标,完成草稿保存。

提交任务

调试结果无误后,单击提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:提交上线

注意

  • 调试操作,直接使用线上数据进行调试,需谨慎操作。
  • 如果租户项目管理员在项目控制台>流水线管理中启用了流水线流程校验,则您需要确保提交的任务符合流水线扩展程序的校验规则,才能成功提交。详见4 流水线管理

后续任务运维操作详见:离线任务运维

最近更新时间:2025.07.02 17:59:01
这个页面对您有帮助吗?
有用
有用
无用
无用