You need to enable JavaScript to run this app.
导航

元数据

最近更新时间2023.08.18 17:27:51

首次发布时间2021.08.13 15:07:15

1 概述

在任务开发过程中,元数据支持您对使用到的 EMR Hive、EMR Doris、EMR StarRocks、LAS 表,进行表字段、分区信息及数据的预览操作,跳也支持您跳转并查看相关表生成的任务情况,更有一键生成表查询语句等便捷操作。

说明

EMR Doris、EMR StarRocks 元数据表信息目前暂不支持数据预览和查看分区信息

2 使用前提

  1. DataLeap 项目控制台中,已绑定相应的火山引擎 E-MapReduce(EMR)和湖仓一体分析服务 (LAS)引擎服务。绑定操作详见创建项目-服务绑定

  2. EMR Hive、EMR Doris、EMR StarRocks 相关元数据查看,需先在数据地图中创建 EMR 对应集群类型的元数据采集器并执行。详见元数据采集

3 功能介绍

3.1 功能入口

  1. 登录 DataLeap租户控制台

  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。

  3. 任务开发界面,左侧导航栏中,单击元数据按钮,进入元数据页面。

3.2 查找库表

进入数据库页面,支持查找 EMR 和 LAS 两种引擎的数据库表。

  1. 在元数据界面上方的下拉框中,选定元数据库对应引擎类型,会展现出当前引擎下的实例信息和库表信息。

  2. 在搜索框中:

    1. 您可以输入库名、表名或者关键字信息,来搜索相应的库表。

    2. 您也可以单击输入框右侧的折叠按钮,在右侧窗口中,LAS 引擎可根据权限类型、表责任人来进行搜索筛选;EMR 引擎可根据库名称来筛选。

3.3 查看表字段并生成查询语句

  1. 选中表名后,表字段部分可以看到表的所有字段名称、类型和描述。

  2. 在表字段较多时,可以在搜索框中输入字段名称,搜索需要查询的相应字段。

  3. 单击左侧的勾选框,勾选字段后,单击右侧生成使用语句

    1. 若右侧没有打开的节点代码编辑器,则在生成使用语句的对话框中,会生成查询语句,可复制语句去节点编辑器中执行,单击确认按钮,关闭对话框。

    2. 若右侧有打开的节点代码编辑器,单击生成使用语句后,将自动在编辑器中生成查询语句。

3.4 数据预览

EMR Hive、LAS 表的部分数据,您可在此单击数据预览按钮进行查看。

注意

数据预览,需要当前登录账号有表的查询权限才可以预览。

3.5 分区信息

单击分区信息,可以查看 EMR Hive、LAS 表最近的分区、更新时间、行数、以及分区大小,并且可以在搜索框中,输入分区值,进行搜索相关分区信息。

3.6 任务信息

单击任务信息,可以查看产出该 EMR Hive、EMR Doris、EMR StarRocks、LAS 表的任务基本信息:任务ID、任务名称、任务周期级别、任务责任人,单击高亮的任务名称即可跳转打开对应的节点任务配置。