You need to enable JavaScript to run this app.
导航
LAS SQL
最近更新时间:2024.03.19 15:54:10首次发布时间:2021.12.02 14:32:22

1 概述

使用 LAS SQL 语句,从源表中获取待加工数据,加工完成后写入目标表。LAS 仅支持 Spark、Auto 执行引擎。
下面将向您介绍 LAS SQL 任务配置的详细说明。

2 任务配置说明

2.1 新建任务

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,点击数据开发进入对应项目。
  3. 任务开发界面,左侧导航栏中,点击新建任务按钮,进入新建任务页面。
  4. 选择任务类型:
    1. 分类:数据开发
    2. 绑定引擎:LAS
    3. 关联实例:default
    4. 选择任务:离线数据 LAS SQL
  5. 填写任务基本信息:
    1. 任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需要在127个字符以内。
    2. 保存至: 选择任务存放的目标文件夹目录。
  6. 点击确认按钮,成功创建任务。

图片

2.2 编辑任务

任务创建成功后,进入代码编辑器界面,以 HSQL 语句示例代码如下:

//方式1静态分区,场景:根据数据到来的频率,新数据的到来时间确定,分区的值是确定的。
insert overwrite table 目标db.目标表名 partition (date = "${date}")
select
name,
age
from
源库名.源表名
where
date = '${DATE-1}'
//方式2动态分区,谨慎使用,根据已有数据进行动态分区,分区的值是非确定的。
insert overwrite table 目标db.目标表名 partition (p_date,app)
select
user_id,
date as p_date,
app_name as app//分区字段
from
源库名.源表名
where
date = '${DATE-1}'

说明

DML 语句暂不支持和 DDL 语句放在同一个节点任务中并行使用。目前 DML 语句会针对性的对 LAS 表提前进行优化判断,当在同一个任务中使用 DDL 建表并立刻运行 DML 插入时,LAS 内表目前暂时无法应用内表优化规则,导致执行失败。对于 LAS 外表在 DDL+DML 时,DML 则无法立刻获得 TOS 认证信息。因此,如果您原来的单任务中有 DDL+DML 一起的情况下,需要先建一个任务运行 DDL,再新加 DML 语句进行修改。

2.3 智能代码编辑器

智能代码编辑器具备以下能力:

功能

说明

Text Editor

具备 Editor 基础能力、列编辑、代码格式化、代码解析等,辅助提升开发效率。

智能联想及补全

开发过程中,支持智能联想库、表、字段、函数、SQL 关键词等。

实时语法检查

开发过程触发智能语法检查。

语法解析

完成 SQL 编写后,可以点击解析按钮,检查代码是否存在语法错误以及是否具备引用库表的读写权限。

语法高亮

在关键字、函数、参数、字段、字符串等信息中,高亮提醒,提高整体代码的可阅读性。

跳转定义

支持快捷键跳转到数据地图表详情页,Mac 按住 Command,Windows 按住 Control 。

字段展开

编写Select 查询语句时,使用光标选中号后,会立即有灯泡符号的提示,点击灯泡将自动列出引用表字段 。

代码列编辑

  • 通常需要在 DDL 语言中批量对数据类型,注释,列增加前缀、后缀进行编辑。
  • Mac 按住 ⇧ + ⌥ + Click ,Windows 按住 Shift + Alt + Click

局部代码调试分析

  • 支持多段 SQL 调试运行。
  • 选中某一个分段代码,即可对其运行、格式化、解析等操作。

编辑器右下角的全屏图标 图片

点击图标,支持全屏代码开发。

2.4 导航栏功能区解析

注意

任务被模板使用后,格式化、表管理、执行引擎选择功能将不支持使用。

功能名称

描述

格式化

依据在个性化设置中的SQL格式化风格的设置,格式化书写的代码,使其语法结构看起来简洁明了。

解析

解析检查书写的 SQL 代码的语法和语义正确性,运行前检查语法错误信息,防止运行出错。

任务模板

您可以选择是否通过任务模板方式,便捷快速的复用代码模板逻辑,在弹窗中选择 LAS SQL 任务模板,并选择相应的版本号,输入替换的参数即可完成复用。

注意

  • 使用任务模板时,界面编辑器不支持再次编辑,若当前任务模板代码,不符合您当前业务场景逻辑,您可通过修改或新建任务模板,形成新版本的任务模板,来实现不同业务场景的复用。
  • 修改模板时,需注意其他任务引用情况,操作说明详见:任务模板

表管理

若数据需要存入的 Hive 表尚未创建,则编写完 SQL 语句后,点击表管理 > 快速建表,可基于解析代码快速填充建表页面。

执行引擎

支持 Spark、Auto 两种执行引擎,其中 Auto 支持引擎自动路由,可加速 SQL 执行。

2.5 调度设置

右侧导航栏中,进入调度配置界面,您可以在此设置LAS 队列信息,调度属性等信息,详细参数设置详见:调度设置

注意

子账号选择LAS队列时,需要有队列使用权限,需主账号前往 LAS控制台-权限管理 授予子账号队列权限。

2.6 查询控制台

2.6.1 调试任务

代码逻辑和参数配置完成后,您可以在界面进行调试操作。
编辑器上方,点击保存按钮后,再点击调试按钮,开始运行任务。

注意

  • 调试操作,直接使用线上数据进行调试,需谨慎操作。
  • 如果 DataLeap 控制台中创建了相关的建表规范管理,则 LAS SQL 语句中,包含建表逻辑,且创建的表在建表规范生效范围内时,您在对任务的解析运行提交时,会触发相应的建表规范检查。建表规范操作说明请参见“建表规范管理”。
  • 本任务类型支持调试执行成功或失败后发送消息通知,您可根据业务情况,前往项目控制台 > 配置信息 > 消息通知设置中,选择是否开启任务调试运行成功失败通知。
    • 默认通知方式为邮箱,您需在“账号管理”中,提前绑定相应的安全邮箱信息;
    • 您也可根据业务需要,自行配置飞书应用机器人,通过飞书的方式发送消息通知,飞书消息通知前置操作详见1.1 飞书应用机器人创建

2.6.2 调试记录

调试任务开始运行后,可在下方查看调试记录,您也可以查看任务的历史运行记录,包括状态、业务日期、开始时间、结束时间、耗时、提交人等。点击操作列的查看按钮,可以查看以下详情内容:

  • 数据结果:运行代码查询结果
  • 概览:查看运行结果的代码。
  • 日志:查看运行详情,可下载日志。

2.6.3 查询结果Excel展示

一段代码执行完成后,会展现查询结果,在整个结果页中用了类似 Excel 功能,无需跑多段代码就可对数据进行操作和分析,以增强代码逻辑的改进。 功能描述如下:

功能

说明

单列字段搜索

对单个字段进行模糊和精确查找。

升降序排列

数据排序功能。

切换图表

对默认展示数据做图分析使用,同时可以定义筛选维度(不同类型的图表,字段类型有限制要求。
例如:柱形图、条形图、饼图这类图表,至少需要一个 string 字段类型,和一个 number 字段类型)。

隐藏列

只显示需要操作的列数据。

复制该行

鼠标移动到想要复制的具体某条数据,点击复制该行,即完成复制整行操作。

复制该列

鼠标移动到想要复制的具体某条数据,点击复制该列,即完成复制整列操作。

复制选中

鼠标圈选需要复制的数据,点击复制选中,即完成复制选中的数据。

全局搜索

在整个工作表中查找数据。

下载

  • 项目控制台 > 配置信息 > 数据安全设置 > 查询结果勾选允许下载时,才支持下载结果页数据。
  • 因结果页界面预览数据上限为 1000,以及项目数据安全设置均存在限制,查询结果显示数据可能小于实际数据量。建议按如下处理方式:
    a. 前往 项目控制台,调整项目数据安全设置上限,上限 1 万行。
    b. 查询结果区域点击下载按钮,下载完整数据至本地查看。

操作详见:新建项目

2.6.4 查询优化建议

点击 概览 ,可以查看错误关键信息,无需通过翻阅日志查找。

3 提交任务

任务所需参数配置和调试任务成功后,将任务提交发布到运维中心离线任务运维中执行。单击上方操作栏中的保存提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:数据开发概述---离线任务提交
后续任务运维操作详见:离线任务运维