You need to enable JavaScript to run this app.
导航
管理外部 Catalog
最近更新时间:2025.06.20 15:41:42首次发布时间:2025.06.05 17:48:03
我的收藏
有用
有用
无用
无用

ByteHouse 数据库功能支持展示和管理外部数据目录(Catalog),支持增删 Catalog、查看 Catalog 中的数据库和表信息、配置 Catalog 资源和数据权限。本文将介绍如何创建和管理外部 Catalog,并为用户授予相关数据、资源权限。

前提条件

使用外部 Catalog 前,请先获取以下信息:

条件细分

说明

获取元数据存储信息

获取外部 Catalog 使用的元数据存储(如 TOS 等 S3 兼容对象存储)的信息,包括以下信息:

  • 元数据存储服务地址:Hive Thrift 服务器的 IP 地址。
  • 存储区域:Hive 或 LAS 使用的 S3 兼容存储服务的物理数据中心所在区域。
  • 服务端点:访问 Hive 或 LAS 使用的 S3 兼容存储服务的接口地址。
  • 访问密钥 AK/SK:元数据存储的访问密钥。

获取 LAS Formation 信息

LAS Catalog 由 LAS Formation(LF)创建,如果您需要创建 LAS Catalog,则还需获取创建 LF 相关的信息:

  • LF 访问密钥 AK/SK
  • LF Catalog 名称
  • LF 存储区域:LF 使用的 TOS 存储服务的物理数据中心所在区域。
  • LF 元数据存储服务地址:LF 的元数据存储服务地址。

使用限制

该功能为 Beta 功能,请联系提交工单或联系 ByteHouse 团队获取白名单权限。

功能概述

外部 Catalog 是指 ByteHouse 支持管理用户创建的外部数据源的信息和资源。ByteHouse 当前支持创建和管理 Hive Catalog、LAS(火山引擎 AI 数据湖服务 Lake AI Service) Catalog,您可以通过外部 Catalog 访问和管理外部数据源,具体功能说明如下:

功能

简介

Catalog 管理

支持新增、删除、展示外部 Catalog。

管理 Catalog 数据权限

为用户授予 CREATE、SHOW、DROP 等资源管理权限。

管理 Catalog 资源权限

为用户授予新建外部 Catalog 权限。

新增外部 Catalog 后,ByteHouse 内部 Catalog 均迁移至 default 文件夹下。
Image

创建外部 Catalog
  1. 登录 ByteHouse 控制台,在顶部数据库页签下,单击 + 新建,单击创建外部 Catalog
    Image

  2. 选择外部 Catalog 类型并配置外部 Catalog 信息。配置信息如下:
    Image
    Hive Catalog 配置信息

    参数

    配置说明

    元数据存储服务地址

    Hive Metastore 服务的连接地址,Hive Metastore 是存储 Hive 表元数据(如表结构、分区信息)的服务。格式为 thrift://hive_thrift_server_ip:port<hive_thrift_server_ip> 为Hive Thrift 服务器的 IP 地址,您可参考您使用的 Hive 服务的官方文档获取连接地址信息。

    存储区域

    配置为 Hive 使用的 S3 兼容存储服务(如火山引擎对象存储 TOS)的物理数据中心所在区域。以 TOS 为例,可使用的区域名请参见地域及访问域名

    服务端点

    配置为访问 Hive 使用的 S3 兼容存储服务的 HTTP 接口地址。以 TOS 为例,可使用的服务端点列表请参见地域及访问域名表格中的 S3 Endpoint。

    TOS 访问密钥(AK)

    配置为对象存储 TOS 的 access key。获取方式请参见 AccessKey(密钥)管理

    TOS 访问密钥(SK)

    配置为对象存储 TOS 的 secret key。获取方式请参见 AccessKey(密钥)管理

    Catalog 名称

    自定义 Catalog 名称,命名规则如下:

    • 名称只能包含字母,数字和下划线"_"。
    • 长度为 1~64 个字符。

    LAS Catalog 配置信息

    参数

    配置说明

    服务端点

    定义 LF 使用的 TOS 服务 endpoint。可使用的服务端点列表请参见地域与访问域名(Endpoint)中 S3 Endpoint 列的信息。

    TOS 访问密钥(AK)

    配置为 TOS 的 access key。获取方式请参见 AccessKey(密钥)管理

    TOS 访问密钥(SK)

    配置为 TOS 的 secret key。获取方式请参见 AccessKey(密钥)管理

    LF 访问密钥(AK)

    配置为 LF 的 access key。获取方式请参见 AccessKey(密钥)管理

    LF 访问密钥(SK)

    配置为 LF 的 secret key。获取方式请参见 AccessKey(密钥)管理

    LF Catalog 名称

    LF 中的 Catalog 名称。您可登录 LAS 控制台,在左侧导航栏中,单击数据库 > 元数据管理,查看 Catalog 名称。

    LF 存储区域

    配置为 LF 使用的 TOS 存储服务的物理数据中心所在区域,可使用的区域名请参见地域及访问域名

    LF 元数据存储服务地址

    配置为 LF 的元数据存储服务地址,填写格式为 thrift://lf_thrift_server_ip:port,获取方式请参见配置外表中 LAS 连接地址说明。

    Catalog 名称

    自定义 Catalog 名称,命名规则如下:

    • 名称只能包含字母,数字和下划线"_"。
    • 长度为 1~64 个字符。
  3. 单击创建

查看外部 Catalog

您可在数据库页签下,左侧导航栏中查看新建的 Catalog。您可通过外部 Catalog 查看其中的数据库、表、DDL、数据预览等信息。

  • 查看数据库
    Image
  • 查看数据表
    Image
  • 表数据预览
    Image

删除外部 Catalog

单击 Catalog 文件夹,进入外部 Catalog 详情页,单击 ...,单击删除 Catalog,单击确定,即可删除 Catalog。
Image

管理外部 Catalog 权限

您可通过为用户授予角色或直接授予数据、资源权限的方式,对外部 Catalog 进行权限管理。操作详情请参见以下文档: