通过SQL语句,从源LAS表中获取待加工数据,完成后写入目标LAS表,支持Spark执行引擎。
任务配置步骤如下:
任务创建完成后,您便可进入LAS SQL任务编辑界面,在配置界面中您可按需编写LAS支持的SQL语法。
编辑任务
在代码编辑器界面,输入对应 LAS SQL语句,示例如下:
//方式1静态分区,场景:根据数据到来的频率,新数据的到来时间确定,分区的值是确定的。 insert overwrite table 目标源库名.目标表名 partition (date = "${date}") select name, age from 源库名.源表名 where date = "${date-1}"; //方式2动态分区,谨慎使用,根据已有数据进行动态分区,分区的值是非确定的。 insert overwrite table 目标源库名.目标表名 partition (p_date,app) select user_id, date as p_date, app_name as app//分区字段 from 源库名.源表名 where date = "${date-1};
智能代码编辑器介绍
LAS SQL任务编辑器支持智能联想及补全能力。编写SQL时自动触发智能联想库名/表名/字段名称,提升SQL编辑效率。
表管理
编辑区界面更多功能说明如下表:
序号 | 功能 | 说明 |
|---|---|---|
1 | 主题设置 | 单击页面左下角的主题设置图标,可根据需要,设置编辑器背景、字号、风格等。 |
2 | 格式化 | 单击右上方的格式化按钮,依据在编辑器设置中的SQL格式化风格的设置,可以格式化书写代码,使其语法结构看起来简洁明了。 |
3 | 解析 | 自动解析LAS SQL语法错误,一般用于运行前操作,帮助发现代码中的错误,提高查询效率。 |
4 | 执行引擎 | 默认支持Spark执行引擎。 |
5 | 参数说明 | 代码中可使用时间变量说明,如 ${DATE}、${hour}等。 |
6 | 编辑器全屏 | 单击编辑器右下角的全屏图标,编辑器全屏显示编码区域。 |
任务配置完成后,您可单击右侧侧边栏的调度设置,配置调度设置参数。调度设置说明详见“调度设置”。
说明
如果项目中添加了相关的建表规范管理,则LAS SQL语句中,包含建表逻辑,且创建的表在建表规范生效范围内时,您在对任务的解析、运行或提交时,会触发相应的建表规范检查。建表规范操作说明请参见“建表规范管理”。
调试结果无误后,单击提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:提交上线。
注意
后续任务运维操作详见:离线任务运维。