最近更新时间:2023.08.01 13:27:58
首次发布时间:2021.08.13 15:07:15
临时查询支持 EMR Hive SQL、EMR Doris SQL、EMR StarRocks SQL、LAS SQL、交互式分析 Notebook 等类型的语句创建、运行、结果数据预览及导出功能,方便在数据开发过程中测试代码的实际情况与期望是否相符、排查代码错误等。
临时查询不需要将任务提交上线和设置调度参数。如果您需要使用周期性调度任务,请在数据开发页面中新建任务。
临时查询需先绑定 E-MapReduce(EMR)或 湖仓一体分析服务 (LAS)等相关计算引擎,方可创建对应的临时查询任务。引擎绑定,详见:创建项目。
EMR Doris SQL、EMR StarRocks SQL 的临时查询类型,需在 DataLeap 项目控制台中绑定 EMR 3.2.1及以上相应集群版本,首次绑定集群时,会提示在 EMR 集群关联的安全组中添加 8898 和 9030 端口,您单击确定按钮即可实现自动添加。添加后,为确保能在 DataLeap 上正常进行数据查询,需保证相关端口一直存在于安全组中,不要删除。
详见创建项目。
登录 DataLeap租户控制台 。
在概览界面,显示加入的项目中,单击数据开发进入对应项目。
在任务开发界面,左侧导航栏中,单击临时查询按钮,进入临时查询页面。
参数 | 描述 |
---|---|
绑定引擎 | 支持选择绑定 EMR、LAS 和通用(Notebook 查询类型)引擎。 |
关联实例 | 显示对应引擎下默认的引擎实例。 |
查询类型 |
|
名称 | 输入临时查询任务名称,只允许字符.、字母、数字、下划线、[]、【】、()、()以及中文字符,且需要在127个字符以内。 |
保存至 | 选择临时查询任务存放的目标路径。 |
实际 SQL 开发过程中,临时查询提供了对应的操作栏,可以帮助您更好的开发。
注意
EMR 引擎,查询类型为 EMR Doris SQL、EMR StarRocks SQL、EMR Presto 和 EMR Trino 时,暂不支持语法解析和相关表管理等操作。
Notebook 查询类型使用操作详见 Notebook - 3.2使用任务,其中临时查询 Notebook 类型,不支持执行资源大小配置、调度设置、提交发布操作。
序号 | 功能 | 说明 |
---|---|---|
1 | 保存 | 保存当前输入的代码。 |
2 | 运行/终止 | 直接使用线上数据,运行代码,需谨慎操作;或者停止正在运行的临时查询。 |
3 | 转换为任务开发 | 支持将临时查询节点转换为新的数据开发任务,可提交上线、配置调度相关属性等。 注意 EMR Presto、EMR Trino、Notebook 查询类型,暂不支持由临时查询节点转为数据开发调度任务。 |
4 | 队列 | 当绑定的引擎实例为 LAS 引擎时,单击选择 LAS 引擎提供的任务计算队列,基于创建项目时绑定的计算队列来显示。 注意
|
5 | 格式化 | 对当前节点代码根据关键字格式排列,常用于单行代码过长的情况。 |
6 | 解析 | 可以自动判断 SQL 语法错误,帮助在 SQL 运行前就发现代码中的错误,提高了查询效率。 |
7 | 表管理 | 若数据需要存入的 Hive 表尚未创建,则编写完 SQL 语句后,可基于解析代码快速填充建表页面。 |
8 | 执行引擎 | LAS 支持 Presto、Spark 和 Auto。 |
9 | 参数说明 | 代码中可使用时间变量说明,如 ${DATE}。 |
10 | SQL编辑区域 | 您可以在此编辑区域中,输入对应引擎下不同查询类型的 SQL 语句,支持 DDL、DML 等常用语句。 注意 目前一个临时查询任务中,EMR Doris SQL、EMR StarRocks SQL 查询类型,仅支持同时提交一个 Query,即当查询节点中存在多个 Query 时,仅执行第一个 Query 并返回相应结果。 |