用于Hive元数据信息的规范化管控。

该插件需开通 Dataleap DataOps敏捷研发及以上版本后，方可使用。
仅支持Hive表。

使用说明

建表规范支持对多个检查项进行检查，按照检查项属性可以划分为三个部分：表名检查(tableNameChecks)、物理元数据检查(tablePhysicalMetaChecks)、业务元数据检查(tableBusinessMetaChecks)。每个部分支持配置多个子检查项，并且每个子检查项可以灵活配置所需运算符(operator)，目前支持空(Null)、非空(NotNull)、等于(Equal)、不等于(NotEqual)、在(IN)、不在(NotIN)、正则匹配(Match)以及不匹配(NotMatch)等。

规范检查项

• 检查项参数

• 内置检查项

注：除了配置内置检查项以外，也支持检查项的扩展

规范样例

{
    "tableNameChecks":[
        {
            "checkKey":"tableName",
            "operator":"Match",
            "compareKey":"(ods|dwd|dwm)_+.+_(di|df|hi|hf|wi|wf)"
        }
    ],
    "tablePhysicalMetaChecks":[
        {
            "checkKey":"tableComment",
            "operator":"NotNull"
        },
        {
            "checkKey":"storageFormat",
            "operator":"IN",
            "compareValues":[
                "parquet"
            ]
        },
        {
            "checkKey":"tablePrimaryKey",
            "operator":"NotNull"
        }
    ],
    "tableBusinessMetaChecks":[
        {
            "checkKey":"tableCnName",
            "operator":"NotNull"
        },
        {
            "checkKey":"productLine",
            "operator":"Null"
        },
        {
            "checkKey":"businessDomain",
            "operator":"IN",
            "compareValues":[
                "我是个测试的业务域1",
                "我是个测试的业务域2"
            ]
        },
        {
            "checkKey":"theme",
            "operator":"IN",
            "compareValues":[
                "我是个测试的主题1",
                "我是个测试的主题1"
            ]
        },
        {
            "checkKey":"layer",
            "operator":"IN",
            "compareValues":[
                "ODS"
            ]
        },
        {
            "checkKey":"status",
            "operator":"Null"
        },
        {
            "checkKey":"tag",
            "operator":"Null"
        },
        {
            "checkKey":"ttl",
            "operator":"NotNull"
        }
    ]
}

操作步骤

1. 点击Dorado控制台-智能市场-数仓建表规范-进入控制台

2. 规范列表页展示

3. 点击新建，进入新建规范页面

4. 规范编写完之后，可在页面模拟建表体验，触发规范内容(并不会真正建表)
5. 规范验证通过之后，可点击提交
6. 规范提交之后可设置生效范围，生效范围可以是多个库