You need to enable JavaScript to run this app.
导航

LAS SQL

最近更新时间2023.12.11 10:57:26

首次发布时间2021.12.02 14:32:22

1 概述

使用LAS SQL 语句,从源表中获取待加工数据,加工完成后写入目标表。LAS 仅支持 Spark、Auto 执行引擎。
下面将向您介绍LAS SQL任务配置的详细说明。

2 任务配置说明

2.1 新建任务

  1. 登录 DataLeap租户控制台

  2. 概览界面,显示加入的项目中,点击数据开发进入对应项目。

  3. 任务开发界面,左侧导航栏中,点击新建任务按钮,进入新建任务页面。

  4. 选择任务类型:

    1. 分类:数据开发

    2. 绑定引擎:LAS

    3. 关联实例:default

    4. 选择任务:离线数据 LAS SQL

  5. 填写任务基本信息:

    1. 任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需要在127个字符以内。

    2. 保存至: 选择任务存放的目标文件夹目录。

  6. 点击确认按钮,成功创建任务。

2.2 编辑任务

任务创建成功后,进入代码编辑器界面,以 HSQL 语句示例代码如下:

//方式1静态分区,场景:根据数据到来的频率,新数据的到来时间确定,分区的值是确定的。
insert overwrite table 目标db.目标表名 partition (date = "${date}")
select
name,
age
from
源库名.源表名
where
date = '${DATE-1}'
//方式2动态分区,谨慎使用,根据已有数据进行动态分区,分区的值是非确定的。
insert overwrite table 目标db.目标表名 partition (p_date,app)
select
user_id,
date as p_date,
app_name as app//分区字段
from
源库名.源表名
where
date = '${DATE-1}'

说明

DML 语句暂不支持和 DDL 语句放在同一个节点任务中并行使用。目前 DML 语句会针对性的对 LAS 表提前进行优化判断,当在同一个任务中使用 DDL 建表并立刻运行 DML 插入时,LAS 内表目前暂时无法应用内表优化规则,导致执行失败。对于 LAS 外表在 DDL+DML 时,DML 则无法立刻获得 TOS 认证信息。因此,如果您原来的单任务中有 DDL+DML 一起的情况下,需要先建一个任务运行 DDL,再新加 DML 语句进行修改。

2.3 智能代码编辑器

智能代码编辑器具备以下能力:

功能说明
Text Editor具备 Editor 基础能力、列编辑、代码格式化、代码解析等,辅助提升开发效率。
智能联想及补全开发过程中,支持智能联想库、表、字段、函数、SQL 关键词等。
实时语法检查开发过程触发智能语法检查。
语法解析完成 SQL 编写后,可以点击解析按钮,检查代码是否存在语法错误以及是否具备引用库表的读写权限。
语法高亮在关键字、函数、参数、字段、字符串等信息中,高亮提醒,提高整体代码的可阅读性。
跳转定义支持快捷键跳转到数据地图表详情页,Mac 按住 Command,Windows 按住 Control 。
字段展开编写Select *查询语句时,使用光标选中*号后,会立即有灯泡符号的提示,点击灯泡将自动列出引用表字段 。

代码列编辑

  • 通常需要在 DDL 语言中批量对数据类型,注释,列增加前缀、后缀进行编辑。

  • Mac 按住 ⇧ + ⌥ + Click ,Windows 按住 Shift + Alt + Click

局部代码调试分析

  • 支持多段 SQL 调试运行。

  • 选中某一个分段代码,即可对其运行、格式化、解析等操作。

编辑器右下角的全屏图标 点击图标,支持全屏代码开发。

2.4 导航栏功能区解析

注意

任务被模板使用后,格式化、表管理、执行引擎选择功能将不支持使用。

功能名称描述
格式化依据在个性化设置中的SQL格式化风格的设置,格式化书写的代码,使其语法结构看起来简洁明了。
解析解析检查书写的 SQL 代码的语法和语义正确性,运行前检查语法错误信息,防止运行出错。

任务模板

您可以选择是否通过任务模板方式,便捷快速的复用代码模板逻辑,在弹窗中选择 LAS SQL 任务模板,并选择相应的版本号,输入替换的参数即可完成复用。

注意

  • 使用任务模板时,界面编辑器不支持再次编辑,若当前任务模板代码,不符合您当前业务场景逻辑,您可通过修改或新建任务模板,形成新版本的任务模板,来实现不同业务场景的复用。
  • 修改模板时,需注意其他任务引用情况,操作说明详见:任务模板
表管理若数据需要存入的 Hive 表尚未创建,则编写完 SQL 语句后,点击表管理 > 快速建表,可基于解析代码快速填充建表页面。
执行引擎支持 Spark、Auto 两种执行引擎,其中 Auto 支持引擎自动路由,可加速 SQL 执行。

2.5 调度设置

右侧导航栏中,进入调度配置界面,您可以在此设置LAS 队列信息,调度属性等信息,详细参数设置详见:调度设置

注意

子账号选择LAS队列时,需要有队列使用权限,需主账号前往 LAS控制台-权限管理 授予子账号队列权限。

2.6 查询控制台

2.6.1 调试任务

代码逻辑和参数配置完成后,您可以在界面进行调试操作。
编辑器上方,点击保存按钮后,再点击调试按钮,开始运行任务。

说明

如果 DataLeap 控制台中创建了相关的建表规范管理,则 LAS SQL 语句中,包含建表逻辑,且创建的表在建表规范生效范围内时,您在对任务的解析运行提交时,会触发相应的建表规范检查。
建表规范操作说明请参见“建表规范管理”。

2.6.2 调试记录

调试任务开始运行后,可在下方查看调试记录,您也可以查看任务的历史运行记录,包括状态、业务日期、开始时间、结束时间、耗时、提交人等。点击操作列的查看按钮,可以查看以下详情内容:

  • 数据结果:运行代码查询结果

  • 概览:查看运行结果的代码。

  • 日志:查看运行详情,可下载日志。

2.6.3 查询结果Excel展示

一段代码执行完成后,会展现查询结果,在整个结果页中用了类似 Excel 功能,无需跑多段代码就可对数据进行操作和分析,以增强代码逻辑的改进。 功能描述如下:

功能说明
单列字段搜索对单个字段进行模糊和精确查找。
升降序排列数据排序功能。

切换图表

对默认展示数据做图分析使用,同时可以定义筛选维度(不同类型的图表,字段类型有限制要求。
例如:柱形图、条形图、饼图这类图表,至少需要一个 string 字段类型,和一个 number 字段类型)。

隐藏列只显示需要操作的列数据。
复制该行鼠标移动到想要复制的具体某条数据,点击复制该行,即完成复制整行操作。
复制该列鼠标移动到想要复制的具体某条数据,点击复制该列,即完成复制整列操作。
复制选中鼠标圈选需要复制的数据,点击复制选中,即完成复制选中的数据。
全局搜索在整个工作表中查找数据。

下载

  • 项目控制台 > 配置信息 > 数据安全设置 > 查询结果勾选允许下载时,才支持下载结果页数据。

  • 因结果页界面预览数据上限为 1000,以及项目数据安全设置均存在限制,查询结果显示数据可能小于实际数据量。建议按如下处理方式:
    a. 前往 项目控制台,调整项目数据安全设置上限,上限 1 万行。

    b. 查询结果区域点击下载按钮,下载完整数据至本地查看。

操作详见:新建项目

2.6.4 查询优化建议

点击 概览 ,可以查看错误关键信息,无需通过翻阅日志查找。

3 提交任务

任务所需参数配置和调试任务成功后,将任务提交发布到运维中心离线任务运维中执行。

单击上方操作栏中的保存提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:数据开发概述---离线任务提交
后续任务运维操作详见:离线任务运维