EMR HSQL

1 概述

使用EMR HSQL 语句，从源表中获取待加工数据，加工完成后写入目标表。EMR 支持 Hive 和 Spark 两种执行引擎。

下面将向您介绍 EMR HSQL 任务配置的详细说明。

2 使用前提

若仅开通 Dataleap产品 湖仓一体 的服务，不支持绑定 EMR 引擎。

3 任务配置说明

3.1 新建任务

任务配置步骤如下：

1. 登录 DataLeap租户控制台 。

2. 在 概览 界面，显示加入的项目中，点击 数据开发 进入对应项目。

3. 在 任务开发 界面，左侧导航栏中，点击 新建任务 按钮，进入 新建任务 页面。

4. 选择任务类型：

   1. 分类：数据开发。

   2. 绑定引擎：EMR。

   3. 关联实例：显示项目绑定时的引擎实例信息。

   4. 选择任务：离线数据 EMR HSQL 。

5. 填写任务基本信息：

   1. 任务名称：输入任务的名称，只允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且需要在127个字符以内。

   2. 保存至： 选择任务存放的目标文件夹目录。

6. 点击 确认 按钮，成功创建任务。
   

3.2 编辑任务

任务创建成功后，进入代码编辑器界面，以 HSQL 语句示例代码如下：

//方式1静态分区,场景：根据数据到来的频率，新数据的到来时间确定，分区的值是确定的。
insert overwrite table 目标db.目标表名 partition (date = "${date}")
select
name,
age
from
源库名.源表名
where
`date` = '${DATE-1}'

//方式2动态分区，谨慎使用，根据已有数据进行动态分区，分区的值是非确定的。
insert overwrite table 目标db.目标表名 partition (p_date,app)
select
user_id,
date as p_date,
app_name as app//分区字段
from
源库名.源表名
where
`date` = '${DATE-1}'

3.3 智能代码编辑器

智能代码编辑器具备以下能力：

功能	说明
Text Editor	具备 Editor 基础能力、列编辑、代码格式化、代码解析等，辅助提升开发效率。
智能联想及补全	开发过程中，支持智能联想库、表、字段、函数、SQL 关键词等。
实时语法检查	开发过程触发智能语法检查。
语法解析	完成SQL编写后，可以点击解析按钮，检查代码是否存在语法错误以及是否具备引用库表的读写权限。
语法高亮	在关键字、函数、参数、字段、字符串等信息中，高亮提醒，提高整体代码的可阅读性。
跳转定义	鼠标移动至表名，支持快捷键跳转到数据地图表详情页，Mac按住Command，Windows按住 Control 。
字段展开	编写 Select * 查询语句时，使用光标选中 * 号后，会立即有灯泡符号的提示，点击灯泡将自动列出引用表字段 。
代码列编辑	通常需要在 DDL 语言中批量对数据类型，注释，列增加前缀、后缀进行编辑。 Mac 按住 ⇧ + ⌥ + Click ，Windows 按住 Shift + Alt + Click 。
局部代码调试分析	支持多段 SQL 调试运行。 选中某一个分段代码，即可对其运行、格式化、解析等操作。
编辑器右下角的全屏图标	点击图标，支持全屏代码开发。

3.4 导航栏功能区解析

3.5 任务产出数据登记

对于系统无法通过解析获取产出信息的任务，EMR 引擎支持手动登记其产出信息，以便后续维护任务数据血缘关系。
如果任务含有 Hive 表或者 HDFS 目录的写入操作，强烈建议填写。您填写的内容即为任务产出，支持填写多个。其他任务的依赖推荐会根据此处填写的 Hive 表或者 HDFS 目录进行推荐。
具体登记内容包括：

• HDFS：该任务会写数据到 HDFS 目录，请填写 HDFS 路径名，路径名可以使用变量。

• Hive：该任务会写数据到 Hive 表，请填写Hive 库、表名、分区名，分区内容可以使用变量。

• 其他：该任务不写数据到 Hive 表或 HDFS 目录。

3.6 调度设置

右侧导航栏中，进入 调度配置 界面，您可以在此设置 调度属性、依赖 等信息，详细参数设置详见：调度设置。

3.7 查询控制台

3.7.1 调试任务

代码逻辑和参数配置完成后，您可以在界面进行调试操作。
编辑器上方，点击 保存 按钮后，再点击 调试 按钮，开始运行任务。

3.7.2 调试记录

调试任务开始运行后，可在下方查看调试记录，您也可以查看任务的历史运行记录，包括状态、业务日期、开始时间、结束时间、耗时、提交人等。点击操作列的 查看 按钮，可以查看以下详情内容：

• 数据结果：运行代码查询结果。

• 概览：查看运行结果的代码。

• 日志：查看运行详情，可下载日志。

3.7.3 查询结果Excel展示

一段代码执行完成后，会展现查询结果，在整个结果页中用了类似 Excel 功能，无需跑多段代码就可对数据进行操作和分析，以增强代码逻辑的改进。
功能描述如下：

3.7.4 查询优化建议

点击 概览 ，可以查看错误关键信息，无需通过翻阅日志查找。

4 提交任务

调试任务成功后，点击上方工具栏中的 提交上线 按钮，在 提交上线 对话框中，选择 回溯数据、监控设置、提交设置 等参数。 提交上线参数设置，详见：数据开发流程引导---离线任务提交发布。