You need to enable JavaScript to run this app.
导航
E-MapReduce
  • 文档首页
    • /
  • E-MapReduce

读取LAS数据

最近更新时间：2024.02.23 16:28:31

首次发布时间：2024.02.23 16:28:31

我的收藏

本文介绍使用External Catalog读取LAS数据。通过创建 LAS Catalog，您不需要执行数据导入就可以直接查询 LAS里的数据。

说明

目前读取LAS数据功能需要开白使用，且只支持从las读取数据和元数据，不支持从sr侧对las库表做任何ddl/dml操作。

1 LAS简介

湖仓一体分析服务 LAS（Lakehouse Analytics Service） 是湖仓一体架构的 Serverless 数据平台，孵化自字节跳动最佳实践，提供一站式 EB 级海量数据存储、管理、计算和交互分析能力，兼容 Spark、Presto、Hudi 生态，助力企业构建云原生智能实时湖仓，驱动业务增长。具体可以参考官方文档。

2 配置core-site

实例默认不可以访问las数据，如果要开启需要修改core-site, 具体内容和region相关，可以咨询技术支持获取。

3 创建LAS Catalog

3.1 语法

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
  "type"  =  "hive",
  "hive.metastore.type"  =  "las",
  "hive.metastore.uris"  =  "thrift://<LAS Hive MetaStore的IP地址>:48869",
  "las.hive.metastore.service"  =  "las"
  "las.hive.metastore.region"  =  "<region>",
  "las.hive.metastore.access.key"  =  "<ak>",
  "las.hive.metastore.secret.key"  =  "<sk>",
)

3.2 参数说明

参数必选说明

catalog_name

是

LAS catalog 的名称，命名要求如下：

  • 必须由字母 (a-z 或 A-Z)、数字 (0-9) 或下划线 (_) 组成，且只能以字母开头。

  • 总长度不能超过 1023 个字符。

  • Catalog 名称大小写敏感。

comment否LAS catalog 的描述。
hive.metastore.uris是Hive MetaStore的URI。格式为thrift://<LAS Hive MetaStore的IP地址>:48869。具体地址可以咨询技术支持。
las.hive.metastore.region是实例所在地区，目前仅支持cn-shanghai
las.hive.metastore.access.key是访问las元数据的ak。需要有LAS相关库表权限。具体可以参考LAS官网安全概述和数据权限管理。
las.hive.metastore.secret.key是访问las元数据的sk。需要有LAS相关库表权限。具体可以参考LAS官网安全概述和数据权限管理。

4 删除Catalog

通过DROP CATALOG可以删除指定的LAS catalog。

  • 语法
DROP CATALOG <catalog_name>

5 查询数据

  • 示例
  1. 创建las catalog, 假设名字为las
CREATE EXTERNAL CATALOG las
PROPERTIES
(
  "type"  =  "hive",
  "hive.metastore.type"  =  "las",
  "hive.metastore.uris"  =  "thrift://<LAS Hive MetaStore的IP地址>:48869",
  "las.hive.metastore.service"  =  "las"
  "las.hive.metastore.region"  =  "cn-shaanghai",
  "las.hive.metastore.access.key"  =  "<user_ak_for_las_meta>",
  "las.hive.metastore.secret.key"  =  "<user_sk_for_las_meta>",
)
  1. 设置当前catalog
set catalog las;

  1. 切换数据库

    以sr_demo数据库为例。

    USE sr_demo;

  2. 查看表结构

    以sr_demo_test表为例。

    DESC sr_demo_test;
SHOW CREATE TABLE sr_demo_test;

  3. 查询sr_demo_test表中数据

    SELECT * FROM sr_demo_test LIMIT 10;

  4. 导入数据到内表

    假设有一个 OLAP 表，在库olap_db下，表名为 olap_tbl。您可以这样来转换该表中的数据，并把数据导入到 StarRocks 中：

    INSERT INTO default_catalog.olap_db.olap_tbl SELECT * FROM las.sr_demo.sr_demo_test;