You need to enable JavaScript to run this app.
复制全文
元数据管理
数据目录管理
复制全文
数据目录管理

背景信息

什么是数据目录(Catalog)

AI数据湖服务(LAS)元数据管理采用三层实体结构,即Catalog/Database/Table,每个租户下面有1个默认Catalog(hive),您也可以创建其他Catalog,Catalog下面可以有多个数据库(Database),每个数据库下面可以创建多个数据表(Table)。
Image

适用场景

主要适用于元数据隔离的场景,比如不同的集群、业务单元、组织团队等,绑定不同的Catalog,不同Catalog元数据互不可见。

使用限制

以下为您介绍在使用LAS Catalog 过程中的关键限制。

限制项

数值或范围

建议

单批返回分区最大数

200000

分批拉取分区列表,避免单次请求返回超大结果集。

表加密文件格式

仅支持 PARQUET

建表时选择 PARQUET 格式后再开启表加密功能。

授权/回收请求列表上限

100 条/次

一次调用中请求列表的总长度最多 100 条,超出请拆分多次提交。

单条请求中的主体数量上限

20 个/条

一条请求中可包含的主体(用户/角色)最多 20 个,主体很多时按主体拆分为多条请求。

单主体一次授予权限上限

5000 条/主体/次

针对同一主体一次最多授予 5000 条权限点,超大权限集请分多次执行。

基本操作

查询数据目录(Catalog)

  1. 登录LAS控制台。
  2. 选择Catalog
  3. 在Catalog页面点击需要查询的数据名称,进入详情页查看详情。

编辑数据目录(Catalog)

说明

  • 用户只能编辑有权限的数据目录,当前不支持修改数据目录名称。
  • 数据存储路径仅支持TOS路径。
  • Catalog 的存储路径更改之后,如果default db的存储路径为空或者非Tos路径,那么default db的存储路径会更新为:"Catalog路径/default.db"。
  1. 登录LAS控制台。
  2. 菜单选择:Catalog
  3. 选中需要编辑的数据目录,点击右上角编辑
  4. 在弹窗中修改存储路径或者备注信息。

创建数据目录(Catalog)

  1. 登录LAS控制台。
  2. 菜单选择:Catalog
  3. 点击数据目录上方“”,在创建数据目录弹窗中填写数据目录名称、存储位置和备注信息,填写完成后点击确定完成数据目录创建。

删除数据目录(Catalog)

  1. 登录LAS控制台。
  2. 菜单选择:Catalog
  3. 选中待删除的数据目录,点击右上角删除,完成Catalog删除。

说明

  • 用户只能删除有权限的数据目录。
  • 删除Catalog遵循先删除子节点,再删除父节点的顺序。即先删除DB,再删除Catalog的顺序。同样,删除DB的时候,会遵循先删除DB下的Table,然后再删除DB。
  • 删除Table/DB/Catalog会遵循先删除元数据再删除存储位置(location)对应文件目录。删除元数据和删除文件这两个动作,不能保证事务一致性,即会存在元数据删除成功,但是文件目录存在,换句话说,会存在Catalog/DB/Table找不到了,但是对应的文件目录还在。
  • 删除数据目录,文件也会删除,但是当前文件删除没有回收站的功能,一旦删除就不能恢复。为了能够恢复误删数据,需要在tos开启多版本控制,详细操作请参考:版本控制
  • 删除Catalog会先删除DB,如果某个DB删除出错,已经删除的DB不会回滚。用户可以刷新页面,继续删除未删除的DB
最近更新时间:2026.03.10 19:42:38
这个页面对您有帮助吗?
有用
有用
无用
无用