读取LAS数据--E-MapReduce-火山引擎

文档中心

立即注册

导航

E-MapReduce

读取LAS数据

最近更新时间：2024.02.23 16:28:31首次发布时间：2024.02.23 16:28:31

本文介绍使用External Catalog读取LAS数据。通过创建 LAS Catalog，您不需要执行数据导入就可以直接查询 LAS里的数据。

说明

目前读取LAS数据功能需要开白使用，且只支持从las读取数据和元数据，不支持从sr侧对las库表做任何ddl/dml操作。

1 LAS简介

湖仓一体分析服务 LAS（Lakehouse Analytics Service） 是湖仓一体架构的 Serverless 数据平台，孵化自字节跳动最佳实践，提供一站式 EB 级海量数据存储、管理、计算和交互分析能力，兼容 Spark、Presto、Hudi 生态，助力企业构建云原生智能实时湖仓，驱动业务增长。具体可以参考官方文档。

2 配置core-site

实例默认不可以访问las数据，如果要开启需要修改core-site, 具体内容和region相关，可以咨询技术支持获取。

3 创建LAS Catalog

3.1 语法

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
  "type"  =  "hive",
  "hive.metastore.type"  =  "las",
  "hive.metastore.uris"  =  "thrift://<LAS Hive MetaStore的IP地址>:48869",
  "las.hive.metastore.service"  =  "las"
  "las.hive.metastore.region"  =  "<region>",
  "las.hive.metastore.access.key"  =  "<ak>",
  "las.hive.metastore.secret.key"  =  "<sk>",
)

3.2 参数说明

参数	必选	说明
catalog_name	是	LAS catalog 的名称，命名要求如下：必须由字母 (a-z 或 A-Z)、数字 (0-9) 或下划线 (_) 组成，且只能以字母开头。总长度不能超过 1023 个字符。 Catalog 名称大小写敏感。
comment	否	LAS catalog 的描述。
hive.metastore.uris	是	Hive MetaStore的URI。格式为thrift://<LAS Hive MetaStore的IP地址>:48869。具体地址可以咨询技术支持。
las.hive.metastore.region	是	实例所在地区，目前仅支持cn-shanghai
las.hive.metastore.access.key	是	访问las元数据的ak。需要有LAS相关库表权限。具体可以参考LAS官网安全概述和数据权限管理。
las.hive.metastore.secret.key	是	访问las元数据的sk。需要有LAS相关库表权限。具体可以参考LAS官网安全概述和数据权限管理。

4 删除Catalog

通过DROP CATALOG可以删除指定的LAS catalog。

语法

DROP CATALOG <catalog_name>

5 查询数据

示例

创建las catalog, 假设名字为las

CREATE EXTERNAL CATALOG las
PROPERTIES
(
  "type"  =  "hive",
  "hive.metastore.type"  =  "las",
  "hive.metastore.uris"  =  "thrift://<LAS Hive MetaStore的IP地址>:48869",
  "las.hive.metastore.service"  =  "las"
  "las.hive.metastore.region"  =  "cn-shaanghai",
  "las.hive.metastore.access.key"  =  "<user_ak_for_las_meta>",
  "las.hive.metastore.secret.key"  =  "<user_sk_for_las_meta>",
)

设置当前catalog

set catalog las;

切换数据库
以sr_demo数据库为例。
```
USE sr_demo;
```

查看表结构

以sr_demo_test表为例。

DESC sr_demo_test;
SHOW CREATE TABLE sr_demo_test;

查询sr_demo_test表中数据
```
SELECT * FROM sr_demo_test LIMIT 10;
```
导入数据到内表
假设有一个 OLAP 表，在库olap_db下，表名为 olap_tbl。您可以这样来转换该表中的数据，并把数据导入到 StarRocks 中：
```
INSERT INTO default_catalog.olap_db.olap_tbl SELECT * FROM las.sr_demo.sr_demo_test;
```