You need to enable JavaScript to run this app.
导航
元数据
最近更新时间:2024.06.26 10:50:54首次发布时间:2021.08.13 15:07:15

1 概述

在任务开发过程中,元数据支持您对使用到的 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks、EMR Serverless Spark、LAS、ByteHouse 云数仓表,进行表字段、分区信息及数据的预览操作,也支持您跳转并查看相关表生成的任务情况,更有一键生成表查询语句等便捷操作。

说明

  • EMR Doris、EMR StarRocks、EMR Serverless StarRocks、ByteHouse CDW 元数据表信息目前暂不支持数据预览和查看分区信息
  • EMR Serverless Spark 实例下对应的 LAS Formation 元数据信息,目前暂不支持数据预览。

2 使用前提

  1. DataLeap 项目控制台中,已绑定相应的火山引擎 E-MapReduce(EMR)、EMR Serverless StarRocks、EMR Serverless Spark、ByteHouse 云数仓版、湖仓一体分析服务 (LAS)引擎服务。绑定操作详见创建项目-服务绑定
  2. EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks、ByteHouse 云数仓版相关元数据查看,需先在数据地图中创建 EMR 对应集群类型的元数据采集器并执行。详见元数据采集

3 功能介绍

3.1 功能入口

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。
  3. 任务开发界面,左侧导航栏中,单击元数据按钮,进入元数据页面。

图片

3.2 查找库表

进入数据库页面,支持查找 EMR、LAS、ByteHouse 引擎的数据库表。

  1. 在元数据界面上方的下拉框中,选定元数据库对应引擎类型,会展现出当前引擎下的实例信息和库表信息。
  2. 在搜索框中:
    1. 您可以输入库名、表名或者关键字信息,来搜索相应的库表。
    2. 您也可以单击输入框右侧的折叠按钮,在右侧窗口中,LAS 引擎可根据权限类型、表责任人来进行搜索筛选;EMR、EMR Serverless 引擎可根据库名称来筛选。

3.3 查看表字段并生成查询语句

  1. 选中表名后,表字段部分可以看到表的所有字段名称、类型和描述。
  2. 在表字段较多时,可以在搜索框中输入字段名称,搜索需要查询的相应字段。
  3. 单击左侧的勾选框,勾选字段后,单击右侧生成使用语句
    1. 若右侧没有打开的节点代码编辑器,则在生成使用语句的对话框中,会生成查询语句,可复制语句去节点编辑器中执行,单击确认按钮,关闭对话框。
    2. 若右侧有打开的节点代码编辑器,单击生成使用语句后,将自动在编辑器中生成查询语句。

3.4 数据预览

EMR Hive、LAS 表的部分数据,您可在此单击数据预览按钮进行查看。

注意

数据预览,需要当前登录账号有表的查询权限才可以预览。

3.5 分区信息

单击分区信息,可以查看 EMR Hive、LAS 表最近的分区、更新时间、行数、以及分区大小,并且可以在搜索框中,输入分区值,进行搜索相关分区信息。

3.6 任务信息

单击关联任务,可以查看产出该 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless Spark、LAS 表的任务基本信息:任务ID、任务名称、任务周期级别、任务责任人等信息,单击高亮的任务名称即可跳转打开对应的节点任务配置。