最近更新时间:2023.06.19 10:59:35
首次发布时间:2021.12.02 14:32:22
使用LAS SQL 语句,从源表中获取待加工数据,加工完成后写入目标表。LAS 仅支持 Spark、Auto 执行引擎。
下面将向您介绍LAS SQL任务配置的详细说明。
登录 DataLeap租户控制台 。
在概览界面,显示加入的项目中,点击数据开发进入对应项目。
在任务开发界面,左侧导航栏中,点击新建任务按钮,进入新建任务页面。
选择任务类型:
分类:数据开发。
绑定引擎:LAS。
关联实例:default。
选择任务:离线数据 LAS SQL 。
填写任务基本信息:
任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需要在127个字符以内。
保存至: 选择任务存放的目标文件夹目录。
点击确认按钮,成功创建任务。
任务创建成功后,进入代码编辑器界面,以 HSQL 语句示例代码如下:
//方式1静态分区,场景:根据数据到来的频率,新数据的到来时间确定,分区的值是确定的。 insert overwrite table 目标db.目标表名 partition (date = "${date}") select name, age from 源库名.源表名 where date = '${DATE-1}'
//方式2动态分区,谨慎使用,根据已有数据进行动态分区,分区的值是非确定的。 insert overwrite table 目标db.目标表名 partition (p_date,app) select user_id, date as p_date, app_name as app//分区字段 from 源库名.源表名 where date = '${DATE-1}'
说明
DML 语句暂不支持和 DDL 语句放在同一个节点任务中并行使用。目前 DML 语句会针对性的对 LAS 表提前进行优化判断,当在同一个任务中使用 DDL 建表并立刻运行 DML 插入时,LAS 内表目前暂时无法应用内表优化规则,导致执行失败。对于 LAS 外表在 DDL+DML 时,DML 则无法立刻获得 TOS 认证信息。因此,如果您原来的单任务中有 DDL+DML 一起的情况下,需要先建一个任务运行 DDL,再新加 DML 语句进行修改。
智能代码编辑器具备以下能力:
功能 | 说明 |
---|---|
Text Editor | 具备 Editor 基础能力、列编辑、代码格式化、代码解析等,辅助提升开发效率。 |
智能联想及补全 | 开发过程中,支持智能联想库、表、字段、函数、SQL 关键词等。 |
实时语法检查 | 开发过程触发智能语法检查。 |
语法解析 | 完成 SQL 编写后,可以点击解析按钮,检查代码是否存在语法错误以及是否具备引用库表的读写权限。 |
语法高亮 | 在关键字、函数、参数、字段、字符串等信息中,高亮提醒,提高整体代码的可阅读性。 |
跳转定义 | 支持快捷键跳转到数据地图表详情页,Mac 按住 Command,Windows 按住 Control 。 |
字段展开 | 编写Select *查询语句时,使用光标选中*号后,会立即有灯泡符号的提示,点击灯泡将自动列出引用表字段 。 |
代码列编辑 |
|
局部代码调试分析 |
|
编辑器右下角的全屏图标 ![]() | 点击图标,支持全屏代码开发。 |
注意
任务被模板使用后,格式化、表管理、执行引擎选择功能将不支持使用。
功能名称 | 描述 |
---|---|
格式化 | 依据在个性化设置中的SQL格式化风格的设置,格式化书写的代码,使其语法结构看起来简洁明了。 |
解析 | 解析检查书写的 SQL 代码的语法和语义正确性,运行前检查语法错误信息,防止运行出错。 |
任务模板 | 您可以选择是否通过任务模板方式,便捷快速的复用代码模板逻辑,在弹窗中选择 LAS SQL 任务模板,并选择相应的版本号,输入替换的参数即可完成复用。 注意
|
表管理 | 若数据需要存入的 Hive 表尚未创建,则编写完 SQL 语句后,点击表管理 > 快速建表,可基于解析代码快速填充建表页面。 |
执行引擎 | 支持 Spark、Auto 两种执行引擎,其中 Auto 支持引擎自动路由,可加速 SQL 执行。 |
右侧导航栏中,进入调度配置界面,您可以在此设置LAS 队列信息,调度属性等信息,详细参数设置详见:调度设置。
注意
子账号选择LAS队列时,需要有队列使用权限,需主账号前往 LAS控制台-权限管理 授予子账号队列权限。
代码逻辑和参数配置完成后,您可以在界面进行调试操作。
编辑器上方,点击保存按钮后,再点击调试按钮,开始运行任务。
调试任务开始运行后,可在下方查看调试记录,您也可以查看任务的历史运行记录,包括状态、业务日期、开始时间、结束时间、耗时、提交人等。点击操作列的查看按钮,可以查看以下详情内容:
数据结果:运行代码查询结果
概览:查看运行结果的代码。
日志:查看运行详情,可下载日志。
一段代码执行完成后,会展现查询结果,在整个结果页中用了类似 Excel 功能,无需跑多段代码就可对数据进行操作和分析,以增强代码逻辑的改进。 功能描述如下:
功能 | 说明 |
---|---|
单列字段搜索 | 对单个字段进行模糊和精确查找。 |
升降序排列 | 数据排序功能。 |
切换图表 | 对默认展示数据做图分析使用,同时可以定义筛选维度(不同类型的图表,字段类型有限制要求。 |
隐藏列 | 只显示需要操作的列数据。 |
复制该行 | 鼠标移动到想要复制的具体某条数据,点击复制该行,即完成复制整行操作。 |
复制该列 | 鼠标移动到想要复制的具体某条数据,点击复制该列,即完成复制整列操作。 |
复制选中 | 鼠标圈选需要复制的数据,点击复制选中,即完成复制选中的数据。 |
全局搜索 | 在整个工作表中查找数据。 |
下载 |
操作详见:新建项目。 |
点击 概览 ,可以查看错误关键信息,无需通过翻阅日志查找。
任务所需参数配置和调试任务成功后,将任务提交发布到运维中心离线任务运维中执行。
单击操作栏中的保存和提交上线按钮,在弹窗中,需先通过提交事前检查和提交上线等上线流程,最后单击确认按钮,完成作业提交。详见概述---离线任务提交发布。
注意
上线流程中的“提交事前检查”,需租户主账号或项目管理员先在项目控制台 > 流水线管理中,创建相应的流水线检查事宜后方可显示。详见流水线管理。
后续任务运维操作详见:离线任务运维。