在任务开发过程中,元数据支持您对使用到的 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks、EMR Serverless Spark/Presto、LAS、ByteHouse 云数仓、ByteHouse CE 表,进行表字段、分区信息及数据的预览操作,也支持您跳转并查看相关表生成的任务情况,更有一键生成表查询语句等便捷操作。
不同引擎的元数据表/视图,支持查看的内容有所差异,具体如下:
引擎类型 | 表字段 | 生成使用语句 | 数据预览 | 分区信息 | 关联任务 | 更多操作(导入本地 CSV 文件数据) |
|---|---|---|---|---|---|---|
EMR Serverless Spark/Presto | 支持 | 支持 | - | 支持 | 支持 | 支持 |
EMR Serverless StarRocks | 支持 | 支持 | - | 支持 | 支持 | 支持 |
EMR Hive | 支持 | 支持 | 支持 | 支持 | 支持 | - |
EMR StarRocks | 支持 | 支持 | - | - | 支持 | - |
EMR Doris | 支持 | 支持 | - | - | 支持 | - |
ByteHouse CDW | 支持 | 支持 | - | - | 支持 | - |
ByteHouse CE | 支持 | 支持 | - | - | 支持 | - |
LAS | 支持 | 支持 | 支持 | 支持 | 支持 | - |
除 EMR Serverless Spark/Presto 引擎外,其余引擎的元数据列表界面,目前暂时没有开放3.7 更多操作中的相关入口。
进入数据库页面,支持查找对应引擎下的数据库表信息。
EMR Hive、LAS 表的部分数据,您可在此单击数据预览按钮进行查看。
注意
数据预览,需要当前登录账号有表的查询权限才可以预览。
单击分区信息,可以查看 EMR Hive、LAS、EMR Serverless Spark/Presto、EMR Serverless StarRocks 表最近的分区、更新时间、行数、以及分区大小,并且可以在搜索框中,输入分区值,进行搜索相关分区信息。
单击关联任务,可以查看 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks、EMR Serverless Spark/Presto、LAS、ByteHouse CE、ByteHouse 云数仓版表/视图所对应的产出任务基本信息,如:任务ID、任务名称、任务周期级别、任务责任人等信息,单击高亮的任务名称即可跳转打开对应的节点任务配置。
EMR Serverless Spark、EMR Serverless Presto 引擎下,支持新建表、导入 CSV 文件等更多操作能力:
注意
其余引擎的元数据,这里目前暂不支持新建表、导入CSV文件等功能,后续敬请期待。