ByteHouse 数据库功能支持展示和管理外部数据目录(Catalog),支持增删 Catalog、查看 Catalog 中的数据库和表信息、配置 Catalog 资源和数据权限。本文将介绍如何创建和管理外部 Catalog,并为用户授予相关数据、资源权限。
使用外部 Catalog 前,请先获取以下信息:
条件细分 | 说明 |
---|---|
获取元数据存储信息 | 获取外部 Catalog 使用的元数据存储(如 TOS 等 S3 兼容对象存储)的信息,包括以下信息:
|
获取 LAS Formation 信息 | LAS Catalog 由 LAS Formation(LF)创建,如果您需要创建 LAS Catalog,则还需获取创建 LF 相关的信息:
|
该功能为 Beta 功能,请联系提交工单或联系 ByteHouse 团队获取白名单权限。
外部 Catalog 是指 ByteHouse 支持管理用户创建的外部数据源的信息和资源。ByteHouse 当前支持创建和管理 Hive Catalog、LAS(火山引擎 AI 数据湖服务 Lake AI Service) Catalog,您可以通过外部 Catalog 访问和管理外部数据源,具体功能说明如下:
功能 | 简介 |
---|---|
Catalog 管理 | 支持新增、删除、展示外部 Catalog。 |
管理 Catalog 数据权限 | 为用户授予 CREATE、SHOW、DROP 等资源管理权限。 |
管理 Catalog 资源权限 | 为用户授予新建外部 Catalog 权限。 |
新增外部 Catalog 后,ByteHouse 内部 Catalog 均迁移至 default 文件夹下。
登录 ByteHouse 控制台,在顶部数据库页签下,单击 + 新建,单击创建外部 Catalog。
选择外部 Catalog 类型并配置外部 Catalog 信息。配置信息如下:
Hive Catalog 配置信息:
参数 | 配置说明 |
---|---|
元数据存储服务地址 | Hive Metastore 服务的连接地址,Hive Metastore 是存储 Hive 表元数据(如表结构、分区信息)的服务。格式为 |
存储区域 | 配置为 Hive 使用的 S3 兼容存储服务(如火山引擎对象存储 TOS)的物理数据中心所在区域。以 TOS 为例,可使用的区域名请参见地域及访问域名。 |
服务端点 | 配置为访问 Hive 使用的 S3 兼容存储服务的 HTTP 接口地址。以 TOS 为例,可使用的服务端点列表请参见地域及访问域名表格中的 S3 Endpoint。 |
TOS 访问密钥(AK) | 配置为对象存储 TOS 的 access key。获取方式请参见 AccessKey(密钥)管理。 |
TOS 访问密钥(SK) | 配置为对象存储 TOS 的 secret key。获取方式请参见 AccessKey(密钥)管理。 |
Catalog 名称 | 自定义 Catalog 名称,命名规则如下:
|
LAS Catalog 配置信息:
参数 | 配置说明 |
---|---|
服务端点 | 定义 LF 使用的 TOS 服务 endpoint。可使用的服务端点列表请参见地域与访问域名(Endpoint)中 S3 Endpoint 列的信息。 |
TOS 访问密钥(AK) | 配置为 TOS 的 access key。获取方式请参见 AccessKey(密钥)管理。 |
TOS 访问密钥(SK) | 配置为 TOS 的 secret key。获取方式请参见 AccessKey(密钥)管理。 |
LF 访问密钥(AK) | 配置为 LF 的 access key。获取方式请参见 AccessKey(密钥)管理。 |
LF 访问密钥(SK) | 配置为 LF 的 secret key。获取方式请参见 AccessKey(密钥)管理。 |
LF Catalog 名称 | LF 中的 Catalog 名称。您可登录 LAS 控制台,在左侧导航栏中,单击数据库 > 元数据管理,查看 Catalog 名称。 |
LF 存储区域 | 配置为 LF 使用的 TOS 存储服务的物理数据中心所在区域,可使用的区域名请参见地域及访问域名。 |
LF 元数据存储服务地址 | 配置为 LF 的元数据存储服务地址,填写格式为 |
Catalog 名称 | 自定义 Catalog 名称,命名规则如下:
|
单击创建。
您可在数据库页签下,左侧导航栏中查看新建的 Catalog。您可通过外部 Catalog 查看其中的数据库、表、DDL、数据预览等信息。
单击 Catalog 文件夹,进入外部 Catalog 详情页,单击 ...
,单击删除 Catalog,单击确定,即可删除 Catalog。
您可通过为用户授予角色或直接授予数据、资源权限的方式,对外部 Catalog 进行权限管理。操作详情请参见以下文档: