最近更新时间:2023.03.24 19:15:17
首次发布时间:2023.01.05 23:32:32
数仓建表规范是从数仓管理的角度,对数仓场景下的建表流程进行约束,从而提升开发效率,快速追踪数据链路,并最终保障交付质量。
新建 Hive 表时,支持对表名、业务元数据等内容进行自动校验,结合建表规范提前识别问题,减少后期数据管理的成本,提升数据建模质量。
数仓规范化建表,统一规范维护 Hive 元数据信息。
创建规范后,仅规范所有者可执行全部操作,其他人仅可执行查看、复制操作。
已开通湖仓一体、分布式数据自治或 DataOps敏捷研发解决方案。详细操作说明请参见 DataLeap 服务信息。
登录 DataLeap 控制台。
选择智能市场 > 数仓建表规范,单击进入控制台按钮,进入数仓建表规范页面。
可查看当前租户下的所有规范内容,并执行以下操作:
新建建表规范
单击新建按钮,进入新建建表规范页面,设置建表规范信息。
可以模拟建表体验,进行建表规范预检查。
单击规范预检查按钮,在弹出的窗口中,选择要检查的对应引擎下的数据库。
单击确定按钮,在弹出的建表规范预检查侧拉窗口中,设置建表信息。
单击检查结果按钮,检测规范内容的正确性。
说明
本步骤仅检查建表内容是否符合规范,不会真正创建对应的数据表。
单击提交按钮,完成规范创建。
新建建表规范相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
---|---|
基本信息 | |
*规范名称 | 规范的简单定义,自行设定。 |
描述 | 规范的描述信息,长度不超过200个字符。 |
规范文档链接 | 规范的详细定义文档的链接,用户可通过这个规范文档了解当前规范的实际内容和配置。 |
*所有者 | 规范的所有者,默认为规范的创建者,不可编辑。 |
*类型 | 规范的类型,仅支持公开,默认选中,不可编辑。 |
规则设置 | |
规则填写 | 设置建表规范的规则,支持采用 JSON 语法格式,对库或项目下相关表名、物理元数据、标签元数据等进行检查。
|
规范预检查信息 | |
*引擎类型 | 进行建表规范预检查的数据库的引擎类型,支持 EMR 和 LAS 两个选项,下拉可选。 |
*引擎实例 | 数据库引擎实例。
|
数据库 | 进行建表规范预检查的数据库。 |
建表规范预检查信息 | 创建数据表时填写的信息,仅用于检查建表规范,相关参数说明请参见Table管理。 |
设置生效范围
单击列表中某条建表规范操作列的生效范围按钮,在弹出的生效范围侧拉窗口中,可以新增数据库或搜索、移除已添加的数据库,来更新规范生效的数据库范围。设置生效范围后,在规范已生效的数据库下建表时,则需符合相应的规范要求。
新增数据库相关参数说明如下表所示。
参数 | 说明 |
---|---|
*引擎类型 | 生效数据库的引擎类型,支持 EMR 和 LAS 两个选项,下拉可选。 |
*引擎实例 | 数据库引擎实例。
|
*数据库 | 规范生效的数据库。 |
搜索建表规范
在规范搜索框中,输入规范名称关键词后按回车键,可以查看符合条件的规范信息列表。
查看规范详情
单击列表中某条建表规范的规范名称,可以查看该规范的详情。
编辑建表规范
单击列表中某条建表规范操作列的编辑按钮,在编辑建表规范页面,可以修改该规范信息。
复制建表规范
单击列表中某条建表规范操作列的复制按钮,复制该规范的规则信息并进入相应编辑页面,可以快速创建新的规范信息。
删除建表规范
单击列表中某条建表规范操作列的 ... > 删除按钮,在弹出的确认删除对话框中,单击删除按钮,删除该建表规范。删除后,引用该规范的数据库将全部失效。
更改所有者
单击列表中某条建表规范操作列的 ... > 更改所有者按钮,在弹出的变更所有者窗口中,可以将该规范的所有者变更为租户下的其他账号。
开启/关闭生效状态
单击列表中某条建表规范的生效状态按钮,在弹出的确认对话框中,单击相应的启用或停用按钮后,可以开启/关闭该规范的生效状态。关闭后,引用当前规范的数据库,将全部失效。
建表规范设置生效范围后,在以下场景中建表时,若触发了建表规范,会进行相应的检查。检查通过后才可建表成功。