You need to enable JavaScript to run this app.
文档中心
文档备案控制台
大数据研发治理套件（私有化）

大数据研发治理套件（私有化）

请输入
  • 文档首页
    • 大数据研发治理套件（私有化）数据地图我的库表Table管理管理 Apache Hive 表
复制全文
我的收藏
Table管理
管理 Apache Hive 表
复制全文
我的收藏
管理 Apache Hive 表

库表管理提供对元数据的创建、编辑、鉴权归属的统一管理。本文为您介绍如何管理 Apache Hive 表。

约束限制

页面最多展示 9999 条表数据。

前提条件

已创建 Apache Hive 数据库。相关操作说明可参见管理 Apache Hive 库。

操作步骤

  1. 登录DataLeap控制台。
  2. 选择概览 > 数据地图 > 我的库表 > Table管理 > Apache Hive，进入Apache Hive页面。
    Image
  3. 可执行以下操作：
    • 新建Apache Hive表
      支持可视化建表和DDL建表。
      • 单击新建Apache Hive表按钮，直接进入可视化建表页面，填写表信息并单击建表检查按钮检查是否符合建表规范，待确认无误后，单击提交按钮完成Apache Hive表创建。关于建表规范的相关操作说明请参见数仓建表规范管理。
      • 单击新建Apache Hive表 > DDL建表按钮，进入DDL建表页面，撰写DDL语句后单击解析按钮显示字段信息，填写表单其他信息并单击建表检查按钮检查是否符合建表规范，待确认无误后，单击提交按钮完成Apache Hive表创建。
    • 新建Apache Hive视图
      单击新建Apache Hive视图按钮，进入新建Apache Hive视图页面，撰写SQL语句后单击解析按钮显示字段信息，填写表单其他信息并单击建表检查按钮检查是否符合建表规范，待确认无误后，单击提交按钮完成Apache Hive视图创建。

      说明

      Apache Hive视图是由从Apache Hive表中选取出来的数据组成的逻辑表。它可以定义为多个表的连接、只有部分列可见，或者部分行可见。

    • 设置搜索信息，搜索符合条件的信息列表。
      当设置多个搜索条件时，会取各个条件的交集，进行查询。
      • 搜索库名、表名或负责人关键词。

        注意

        仅当查看范围选择我是库管时，搜索负责人才会生效。

      • 按照生命状态、是否隐藏等信息进行筛选。
      • 单击列表参数名称的升/降序图标按钮，可以按照对应参数的设置结果查看列表。
      • 单击列表中某数据表是否隐藏列的复合按钮，可以隐藏/显示该数据源。
      • 单击开启状态按钮，关闭隐藏后，在数据地图中将显示该数据源。
      • 单击关闭状态按钮，开启隐藏后，在数据地图中将无法查看该数据源。
    • 单击列表中某条数据表信息的表名，可以打开该表详情页面，查看并管理该表的信息，详细说明请参见查看 Apache Hive 表。
    • 单击列表中某数据表所在行操作列的管理链接，可以修改该表的元数据标签信息。
    • 单击列表中某数据表所在行操作列的编辑链接，可以修改该表信息。
    • 单击列表中某数据表所在行的 ... > 移交按钮，可以变更表的负责人，并同时移交权限负责人。
    • 单击列表中某数据表所在行的 ... > 权限设置按钮，可以修改表的详细信息。
    • 单击列表中某数据表所在行的 ... > 删除按钮，弹出确认删除对话框，单击确定按钮后，可以删除该表。
    • 勾选列表中一个或多个表后，可以进行批量移交、批量删除、批量管理操作。

说明

  • 表管理中，所属项目是T+1从数据开发模块获取，当天创建的项目，在下拉列表中无法看到。
  • 若要删除刚创建的表，需等几分钟权限更新完成后再操作，以防系统报错。
  • 仅安全模式下的数据表支持表权限负责人等安全信息设置，以及移交、权限设置功能操作。

参数说明

管理 Apache Hive 表相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

参数

说明

DDL信息

*DDL语句

撰写DDL语句并解析后，配置字段。建表示例如下：

CREATE TABLE IF NOT EXISTS
  ``.`` -- 如果需要建外部表，请使用 CREATE EXTERNAL TABLE IF NOT EXISTS
  (`` string COMMENT '') PARTITIONED BY (`` string COMMENT '')
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

注意

  • 目前主键类型仅支持基本的string、int、bigint、double四种类型，如果设置其他类型作为主键，会在数据插入时产生预期之外的问题。
  • 仅选择 DDL建表时，需设置该参数。

基础信息

*集群

所属集群的名称，下拉可选已创建的 Apache Hadoop 集群。

*Apache Hive库名

数据表所属数据库的名称，下拉可选已创建的 Apache Hive 数据库。

说明

仅选择可视化建表时，需设置该参数。

管理业务线

数据表所属的业务线，下拉可选已创建的业务线。

说明

  • 建议各业务线建立规范建模体系，保障建表的命名规范性，相关操作说明请参见创建业务线。
  • 当只有一个业务线时，则在创建表时会默认选中当前的业务线。

数据层级

元数据所在的层级，支持以下选项，下拉可选。支持通过搜索层级名称关键词快速选择。

  • 贴源层 [sdata]
  • 历史层 [shdata]
  • 明细层 [pdata]
  • 通用汇总层 [cdata]
  • 维度层 [dim]
  • 集市层 [dm]

说明

若选择管理业务线，则仅显示该业务线所包含的数据层级选项。

规范建模类目

业务线下的模型规范类目分类，下拉可选已创建的模型规范类目的数据分类。创建模型规范类目数据分类的相关操作说明请参见类目管理。

说明

选择管理业务线以及已关联的数据层级后，才可设置该参数。

存储策略

元数据的存储策略，支持以下选项，下拉可选。

  • 小时增量（hi）
  • 日增量（di）
  • 周增量（wi）
  • 月增量（mi）
  • 小时全量（hf）
  • 日全量（df）
  • 周全量（wf）
  • 月全量（mf）
  • 最新全量快照（nf）

*Apache Hive表名

创建在所选数据库下的数据表名称。
仅支持数字、小写英文字母、下划线。

说明

仅选择可视化建表时，需设置该参数。

中文名

数据表的中文名称。

*存储格式

数据的存储格式，支持 parquet、text 和 orc 三个选项，下拉可选。

压缩格式

数据的压缩格式，支持选项zstd、snappy、gzip、lzo、brotli、lz4，下拉可选。

*分区类型

数据表是否设置分区，支持分区表和非分区表两个选项。

说明

  • 仅选择可视化建表时，需设置该参数。
  • 当选择分区表时，需设置分区字段。

描述信息

对数据表的描述说明，以便后续管理。

*负责人

该表的负责人，默认为当前用户，可输入账号关键词下拉选择其他用户。

字段信息

填写方式

可选择按表单或Excel方式填写。

主键

即主关键字，是表中的一个或多个字段，它的值用于唯一的标识表中的某一条记录。
若为复合主键，需选择多个字段。

*英文名称

字段的英文名称。仅可由小写英文字母、数字、下划线组成。

说明

若引用数据标准，本参数会自动填充标准的英文名，具体可参见下面的引用代码说明。

*字段类型

根据实际情况填写，支持多种类型，下拉可选。

说明

若引用数据标准，本参数会自动填充标准的数据类型，具体可参见下面的引用代码说明。

*字段描述

字段的说明信息，以便后续管理，必填项。

说明

若引用数据标准，本参数会自动填充标准的中文名，具体可参见下面的引用代码说明。

安全标签

数据安全平台推荐的标签，下拉可选已创建的安全标签，支持选择多个。
管理安全标签的相关操作说明，请参见分类分级管理。

引用代码

字段要关联的数据标准代码。通过添加按钮，可引用数据标准，绑定多个标准代码。

  • 绑定标准代码
    单击添加 > 标准代码按钮，在弹出的窗口中，设置以下信息，选择已有标准代码进行绑定。每次只可添加一个标准代码，可分次添加多个。
    • 标准域：要绑定代码所在的标准域，下拉可选您具备标准专员、标准管理员或以上角色权限的标准域。相关角色介绍请参见管理标准域。
    • 标准代码：要绑定的标准代码，下拉可选当前标准域下已有的标准代码。选择标准代码后，可单击显示的增加码值按钮，前往该标准代码页查看并修改信息。
  • 引用数据标准
    单击添加 > 查看数据标准按钮，在弹出的窗口中，设置以下信息，可引用数据标准，将该标准的中英文名、数据类型带入字段信息。
    • 标准域：要引用的数据标准所在的标准域，下拉可选您所在的标准域。
    • 数据标准：要引用的数据标准，下拉可选当前标准域下已发布的标准。

说明

  • 字段与标准代码建立绑定关系后，绑定信息会同步至标准代码页面。
  • 字段不能与数据标准建立绑定关系，只可引用数据标准的信息。引用后，会进行相应填充，对应关系如下，可按需再编辑：
    • 标准英文名填写至该字段的英文名称。
    • 数据类型填写至该字段的字段类型。
    • 标准中文名填写至该字段的字段描述。
  • 仅非分区字段支持添加操作。
  • 编辑表时，不支持引用数据标准，也不支持删除字段与标准代码的绑定关系。若要删除绑定关系，则需要进入该标准代码页面执行，相关操作请参见配置标准映射。

自定义标签

为字段设定的标签，支持以下两种设置方式：

  • 下拉可选已有标签，支持通过搜索标签关键词快速选择。
  • 自行设置标签：手动输入标签后，在下拉列表中选择该标签。

高级设置

其他参数

可选择是否开启其他参数配置，默认关闭。
开启后，可自定义参数，支持设置多个，其中每个参数内容包括 key 值和 value。

管理信息

*生命周期类型

数据表生命周期的类型。仅支持按分区名称选项，表示按分区名称自动删除N天前的分区。

*生命周期天数

数据的保留天数，下拉可选。当选择自定义时，可输入数值大于等于0的任意整数，其中0表示永久。

说明

每天下午2点定时清理数据，清理时间5小时以上，超过保留期的数据将自动删除。

*生命周期分区字段

表的生命周期分区字段，下拉可选在字段信息处填写的分区字段。

*生命周期日期格式

表的生命周期日期格式，支持yyyyMMdd、yyyy-MM-dd、yyyy.MM.dd三个选项，下拉可选。

安全信息

*保密级别

表的安全等级，由低到高有L1、L2、L3和L4四个选项可选。

说明

表的密级不能高于所在库的密级。

*表权限负责人

表的数据安全权限负责人，默认为当前用户，可输入账号关键词下拉选择其他用户，支持设置多个。

开发信息

数据研发项目

已加入的项目，下拉可选已创建的项目。

业务信息

门户业务线

数据表所属的资产门户业务线，下拉可选已创建的业务线，支持多选。

说明

门户业务线主要面向业务视角提供数据分类与管理，一个资产可以归属到多个门户业务线和多个数据分类。

数据分类

数据表所属的业务分类，下拉可选已创建的综合类、自定义两种类型的数据分类，支持多选。
该分类是“资产目录”中，指定业务线下的文件目录名称，用于资产门户构建。

说明

选择门户业务线后，才可设置该参数。

生命状态

表当前的生命状态，支持以下选项，下拉可选。

  • 测试：测试调试的表，不用于实际生产开发。
  • 临时：测试或开发临时保存一些数据时使用，会定期清理。
  • 在线：用户生产开发的有效表。
  • 废弃：已废弃不再用于生产或测试的表。
  • 待下线：即将下线的表，不再用于生产开发。

说明

目前生命状态的选项内容仅做标签使用，不会产生相应的作用。

是否核心

可选择是否将表设置为核心。

自定义标签

为表设定的标签，支持以下两种设置方式：

  • 下拉可选已有标签，支持通过搜索标签关键词快速选择。
  • 自行设置标签：手动输入标签后，在下拉列表中选择该标签。

业务线标签

为表设定的业务线标签，下拉可选已创建的标签，可设置多个。

说明

选择门户业务线后，才可选择对应业务线下已创建的标签。

业务术语

表所关联的业务术语，下拉可选已创建的业务术语。
支持通过搜索业务术语名称关键词快速选择。

最近更新时间：2026.03.05 15:16:49
这个页面对您有帮助吗？
有用
有用
无用
无用