You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

临时查询

最近更新时间：2023.08.01 13:27:58

首次发布时间：2021.08.13 15:07:15

我的收藏

1 概述

临时查询支持 EMR Hive SQL、EMR Doris SQL、EMR StarRocks SQL、LAS SQL、交互式分析 Notebook 等类型的语句创建、运行、结果数据预览及导出功能，方便在数据开发过程中测试代码的实际情况与期望是否相符、排查代码错误等。

临时查询不需要将任务提交上线和设置调度参数。如果您需要使用周期性调度任务，请在数据开发页面中新建任务。

2 使用前提

  1. 临时查询需先绑定 E-MapReduce（EMR）或 湖仓一体分析服务 （LAS）等相关计算引擎，方可创建对应的临时查询任务。引擎绑定，详见：创建项目。

  2. EMR Doris SQL、EMR StarRocks SQL 的临时查询类型，需在 DataLeap 项目控制台中绑定 EMR 3.2.1及以上相应集群版本，首次绑定集群时，会提示在 EMR 集群关联的安全组中添加 8898 和 9030 端口，您单击确定按钮即可实现自动添加。添加后，为确保能在 DataLeap 上正常进行数据查询，需保证相关端口一直存在于安全组中，不要删除。

    详见创建项目。

3 功能介绍

3.1 进入临时查询

  1. 登录 DataLeap租户控制台 。

  2. 在概览界面，显示加入的项目中，单击数据开发进入对应项目。

  3. 在任务开发界面，左侧导航栏中，单击临时查询按钮，进入临时查询页面。

3.2 新建查询

  1. 单击新建查询按钮，进入新建查询对话框。
  2. 填写以下参数信息，单击确定后，进入临时查询语句编辑界面。
    参数描述
    绑定引擎支持选择绑定 EMR、LAS 和通用（Notebook 查询类型）引擎。
    关联实例显示对应引擎下默认的引擎实例。

    查询类型

    1. 选择绑定引擎 EMR 时：

      • 若绑定 Hadoop 集群类型，且组件中包含 Presto、Trino、Spark、Hive 这 4类组件，则支持创建以下 4 类各组件对应的查询类型（下拉框列表根据包含的组件类型来显示）：EMR Hive SQL、EMR Spark SQL、EMR Presto、EMR Trino。

      • 若绑定了 Doris 的集群类型，则支持创建 EMR Doris SQL 的查询类型。

      • 若绑定了 StarRocks 的集群类型，则支持创建 EMR StarRocks SQL 的查询类型。

    2. 选择绑定 LAS 引擎时，查询类型默认显示为 LAS SQL。

    3. 选择绑定通用引擎时，查询类型默认显示 Notebook 类型。

    名称输入临时查询任务名称，只允许字符.、字母、数字、下划线、[]、【】、（）、()以及中文字符，且需要在127个字符以内。
    保存至选择临时查询任务存放的目标路径。

3.3 开发编辑

实际 SQL 开发过程中，临时查询提供了对应的操作栏，可以帮助您更好的开发。

注意

  • EMR 引擎，查询类型为 EMR Doris SQL、EMR StarRocks SQL、EMR Presto 和 EMR Trino 时，暂不支持语法解析和相关表管理等操作。

  • Notebook 查询类型使用操作详见 Notebook - 3.2使用任务，其中临时查询 Notebook 类型，不支持执行资源大小配置、调度设置、提交发布操作。

序号功能说明
1保存保存当前输入的代码。
2运行/终止直接使用线上数据，运行代码，需谨慎操作；或者停止正在运行的临时查询。

3

转换为任务开发

支持将临时查询节点转换为新的数据开发任务，可提交上线、配置调度相关属性等。

注意

EMR Presto、EMR Trino、Notebook 查询类型，暂不支持由临时查询节点转为数据开发调度任务。

4

队列

当绑定的引擎实例为 LAS 引擎时，单击选择 LAS 引擎提供的任务计算队列，基于创建项目时绑定的计算队列来显示。

注意

  1. 子账号选择LAS队列时，需要有队列使用权限，需主账号前往 LAS控制台-权限管理 授予子账号队列权限。
  2. EMR引擎实例，暂不支持选择队列。
5格式化对当前节点代码根据关键字格式排列，常用于单行代码过长的情况。
6解析可以自动判断 SQL 语法错误，帮助在 SQL 运行前就发现代码中的错误，提高了查询效率。
7表管理若数据需要存入的 Hive 表尚未创建，则编写完 SQL 语句后，可基于解析代码快速填充建表页面。

8

执行引擎

LAS 支持 Presto、Spark 和 Auto。
EMR 类型不支持再次选择执行引擎，根据新建查询时选择的查询类型来执行：Hive、Spark、Presto、Trino、Doris 和 StarRocks。

9参数说明代码中可使用时间变量说明，如 ${DATE}。

10

SQL编辑区域

您可以在此编辑区域中，输入对应引擎下不同查询类型的 SQL 语句，支持 DDL、DML 等常用语句。

注意

目前一个临时查询任务中，EMR Doris SQL、EMR StarRocks SQL 查询类型，仅支持同时提交一个 Query，即当查询节点中存在多个 Query 时，仅执行第一个 Query 并返回相应结果。