You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

临时查询

最近更新时间2023.08.01 13:27:58

首次发布时间2021.08.13 15:07:15

1 概述

临时查询支持 EMR Hive SQL、EMR Doris SQL、EMR StarRocks SQL、LAS SQL、交互式分析 Notebook 等类型的语句创建、运行、结果数据预览及导出功能,方便在数据开发过程中测试代码的实际情况与期望是否相符、排查代码错误等。

临时查询不需要将任务提交上线和设置调度参数。如果您需要使用周期性调度任务,请在数据开发页面中新建任务。

2 使用前提

  1. 临时查询需先绑定 E-MapReduce(EMR)或 湖仓一体分析服务 (LAS)等相关计算引擎,方可创建对应的临时查询任务。引擎绑定,详见:创建项目

  2. EMR Doris SQL、EMR StarRocks SQL 的临时查询类型,需在 DataLeap 项目控制台中绑定 EMR 3.2.1及以上相应集群版本,首次绑定集群时,会提示在 EMR 集群关联的安全组中添加 8898 和 9030 端口,您单击确定按钮即可实现自动添加。添加后,为确保能在 DataLeap 上正常进行数据查询,需保证相关端口一直存在于安全组中,不要删除。

    详见创建项目

3 功能介绍

3.1 进入临时查询

  1. 登录 DataLeap租户控制台

  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。

  3. 任务开发界面,左侧导航栏中,单击临时查询按钮,进入临时查询页面。

3.2 新建查询

  1. 单击新建查询按钮,进入新建查询对话框。
  2. 填写以下参数信息,单击确定后,进入临时查询语句编辑界面。
    参数描述
    绑定引擎支持选择绑定 EMR、LAS 和通用(Notebook 查询类型)引擎。
    关联实例显示对应引擎下默认的引擎实例。

    查询类型

    1. 选择绑定引擎 EMR 时:

      • 若绑定 Hadoop 集群类型,且组件中包含 Presto、Trino、Spark、Hive 这 4类组件,则支持创建以下 4 类各组件对应的查询类型(下拉框列表根据包含的组件类型来显示):EMR Hive SQL、EMR Spark SQL、EMR Presto、EMR Trino。

      • 若绑定了 Doris 的集群类型,则支持创建 EMR Doris SQL 的查询类型。

      • 若绑定了 StarRocks 的集群类型,则支持创建 EMR StarRocks SQL 的查询类型。

    2. 选择绑定 LAS 引擎时,查询类型默认显示为 LAS SQL。

    3. 选择绑定通用引擎时,查询类型默认显示 Notebook 类型。

    名称输入临时查询任务名称,只允许字符.、字母、数字、下划线、[]、【】、()、()以及中文字符,且需要在127个字符以内。
    保存至选择临时查询任务存放的目标路径。

3.3 开发编辑

实际 SQL 开发过程中,临时查询提供了对应的操作栏,可以帮助您更好的开发。

注意

  • EMR 引擎,查询类型为 EMR Doris SQL、EMR StarRocks SQL、EMR Presto 和 EMR Trino 时,暂不支持语法解析和相关表管理等操作。

  • Notebook 查询类型使用操作详见 Notebook - 3.2使用任务,其中临时查询 Notebook 类型,不支持执行资源大小配置、调度设置、提交发布操作。

序号功能说明
1保存保存当前输入的代码。
2运行/终止直接使用线上数据,运行代码,需谨慎操作;或者停止正在运行的临时查询。

3

转换为任务开发

支持将临时查询节点转换为新的数据开发任务,可提交上线、配置调度相关属性等。

注意

EMR Presto、EMR Trino、Notebook 查询类型,暂不支持由临时查询节点转为数据开发调度任务。

4

队列

当绑定的引擎实例为 LAS 引擎时,单击选择 LAS 引擎提供的任务计算队列,基于创建项目时绑定的计算队列来显示。

注意

  1. 子账号选择LAS队列时,需要有队列使用权限,需主账号前往 LAS控制台-权限管理 授予子账号队列权限。
  2. EMR引擎实例,暂不支持选择队列。
5格式化对当前节点代码根据关键字格式排列,常用于单行代码过长的情况。
6解析可以自动判断 SQL 语法错误,帮助在 SQL 运行前就发现代码中的错误,提高了查询效率。
7表管理若数据需要存入的 Hive 表尚未创建,则编写完 SQL 语句后,可基于解析代码快速填充建表页面。

8

执行引擎

LAS 支持 Presto、Spark 和 Auto。
EMR 类型不支持再次选择执行引擎,根据新建查询时选择的查询类型来执行:Hive、Spark、Presto、Trino、Doris 和 StarRocks。

9参数说明代码中可使用时间变量说明,如 ${DATE}。

10

SQL编辑区域

您可以在此编辑区域中,输入对应引擎下不同查询类型的 SQL 语句,支持 DDL、DML 等常用语句。

注意

目前一个临时查询任务中,EMR Doris SQL、EMR StarRocks SQL 查询类型,仅支持同时提交一个 Query,即当查询节点中存在多个 Query 时,仅执行第一个 Query 并返回相应结果。