新建监控对象

*集群

要创建规则的数据库集群，支持 Apache Hadoop、MiniBase Hadoop、LAS 三种引擎类型，下拉可选相应引擎下已创建的集群。
支持快捷模式和安全模式两类集群，相关配置说明请参见集群管理。

• 快捷模式：选择监控对象时不会进行鉴权，可选择监控集群下所有数据表。
• 安全模式：选择监控对象时会进行数据鉴权，若无该表的读取权限，则无法创建相应的监控规则。

*库表名

创建监控对象的库、表名称，支持按表录入和按库录入两种设置方式。

• 按表录入：输入库名.表名，单击添加按钮，添加一张表。可分次添加多个库表。
• 按库录入：在库名下拉列表中选择数据库后，在表名下拉列表中选择需要监控的数据表，单击添加按钮，添加一张表。选择库表时，支持模糊搜索，并可分次添加多个库表。

新建监控规则

*选择分区

根据表的现有分区，自动识别，可编辑。
若没有可用分区，可通过添加分区按钮添加。支持多个分区表达式选项，下拉可选。分区表达式相关说明可参见时间变量说明。

规则配置

规则

规则个数，可按需创建多个规则，每个规则下需配置一个规则模板。

*规则模板

质量评估六大维度，包含完整性、唯一性、有效性、准确性、一致性、及时性，下拉可选。其中，各维度分别默认支持表行数、重复值、空值、异常值、表字段等模板类型，对应关系如下：

• 准确性
  • 表行数：计算该分区下的表行数，通常用于校验任务完成后产出的分区数据为空的异常情况，或者根据自己需求检验表行数的一些波动情况。
    表行数的计算定义：count(*)
  • 表字段：选择某个字段，再选择一种字段的计算方式，如sum(money)，再监控这个指标。
• 完整性
  • 内置自定义模板：支持丢失率、空值率两个选项。
  • 空值：特殊的异常值监控，以NULL、空字符串或自定义的空值类型（比如unknown）检测某字段或者1+个字段的空值占比。
• 有效性
  • 异常值：根据提供的正常值或异常值列表/表达式，计算异常值的个数或占比。
• 唯一性
  • 重复值：选择1或者1+个字段，计算重复值占比，通常用于联合主键重复值校验，计算方式为count()-count(distinct key)/count()。

*规则名称

监控规则名称，自动填充，可编辑。

*监控字段

要监控的数据表字段名称，下拉可选。

*空值类型

支持 NULL、空字符串和自定义三种选项。

*匹配逻辑

支持正常值列表和异常值列表两个选项。

*匹配方式

支持枚举值和正则表达式两个选项。

*匹配内容

• 当匹配方式选择枚举值时，需输入枚举值进行匹配，支持设置多个。可直接输入设置，也可通过批量输入按钮导入。
  • 直接输入：在输入框中输入枚举值。每输入一个枚举值，均需单击回车键完成设置。
  • 批量导入：单击批量输入按钮，在弹出的窗口中，输入枚举值。若输入多个内容需用“,”隔开，例如1,2,3。

  说明

  • 枚举值填入hive_none代表为空值，填入hive_empty代表为空字符串。
  • 直接输入时，多个内容不能用“,”分隔，否则会被解析为多个值在同一个字符串内匹配。
• 当匹配方式选择正则表达式时，需输入正则表达式进行匹配。例如，匹配手机号示例：^1[34578]\d{9}$

*计算方式

监控某字段所采取的计算方式，支持sum、count、avg 和 count distinct 四个选项。

相关参数

涉及以下配置项，设置的参数在 SQL 中将使用${}的方式引用：

• *table_name：表全名，创建监控时自动赋值。
• *partition：分区条件，创建监控时自动赋值。
• *target_column：计算丢失率的目标列/目标map。
• group_columns：维度列。
• where_expr：过滤条件。

*监控SQL

所选规则对应的监控SQL语句，系统自动填充。确认无误后，选择解析SQL，系统将根据设置参数自动替换模板内容（替换后 SQL 详情可通过查看 SQL按钮获取）并解析对应指标，进一步完成报警条件的设置。

*报警条件

是指规则发出报警时，指标需要满足的条件。当监控指标被计算出来后，如果满足报警条件，就会发出报警。
支持数值、波动率、重复值占比、空值占比等的报警，多个报警条件之间的关系默认为且，可改为或。

• 数值：即定义的计算指标本身，如sum(money)、count(*)等，该指标会直接跟设定的阈值做对比，判断是否报警。例如：
  • 监控规则：表行数数值超过2000发出报警。
  • 报警判断：假设监控检测出的表行数数值为2500，与设定的阈值（2000）做对比，发现超过阈值，于是发出报警。
• 波动率（单位为%）：根据当次监控规则计算出的指标结果，与某段时间内或某个时间点的该指标做比值，计算出波动率后，再与设定的阈值进行比较判断。目前支持的波动率类型与计算方式有：
  • 相比前一周期波动率：(当次检测值 – 前一周期检测值)/前一周期检测值
  • 相比1天前波动率：(当次检测值 - 1天前检测值)/1天前检测值
  • 相比7天前波动率：(当次检测值 - 7天前检测值)/7天前检测值
  • 相比7天内均值波动率：(当次检测值 - 7天内检测值的均值)/7天内检测值的均值
  • 相比30天内均值波动率：(当次检测值 - 30天内检测值的均值)/30天内检测值的均值
    下拉选择波动率类型后，选择判断方式并设置波动率值。每种波动率类型支持 >、<、∈（属于）、∉（不属于）等多种判断方式；波动率值有正负值区别，正值表示增长波动，负数表示减少波动。具体设置举例如下：
  • 监控规则：表行数的波动率设置为 7天前波动率 ∉ -20% - 20%，即表示表行数相比7天前波动率不在 -20% 到 20% 的范围内则发出报警。
  • 监控流程：算出当天的表行数数值后（假设为2500）后，会与7天前的表行数（假设为2000）做计算， 波动率算出来为上升25%，于是判定结果为报警。
• 动态阈值：根据历史分区的数据来预测下一个分区的行数范围，如果新分区的行数不在这个区间范围内会发出报警。动态阈值适用场景说明请参见动态阈值使用说明。

执行方式

*执行方式

支持关联dorado任务、定时调度、暂不设置三种选择。

• 关联任务：按照关联任务的调度时间执行。
• 定时调度：自行设置监控规则的执行时间。
• 暂不设置：不自动调度执行，可按需手动调度。

*任务名称

数据开发关联调度任务的名称，可通过任务名称关键词或ID进行搜索选择。

*规则强弱

提供强、弱两个配置选项。

• 当选择强时，需设置熔断方式。关联任务执行完成之后会进入强规则运行阶段，由熔断方式决定下游任务运行情况。
• 当选择弱时，关联任务执行完成之后会进入弱规则运行阶段，如果发现关联任务质量异常，则该规则发送报警通知，但不会阻塞下游任务运行。

*熔断方式

如果是强规则，可选择以下两种熔断方式：

• 在规则运行完成之前，Dorado实例将一直处于运行中状态：是指在质量规则运行完成之前，关联任务实例一直处于运行中，期间若触发强规则告警，则关联任务实例状态置为失败，阻塞下游任务运行；若未触发告警，则关联任务实例置为成功，并触发下游任务运行。
• 若规则运行超过x分钟仍未结束，直接置Dorado实例为成功：是指质量规则运行超过设定时间，关联任务实例状态会直接置为成功，但规则仍继续运行，可以触发告警通知。此时，下游任务仍被触发运行，但可能存在数据质量污染风险，需要及时关注监控结果。超时时间可自行设定，取值范围为0~200。

*执行频率

任务监控规则执行频率，提供分钟级、小时级、天级三个选项。

*执行时间

根据执行频率，设置具体的执行时间。

*执行引擎

使用的计算引擎，支持 SPARK 和 PRESTO 两个选项。

*运行队列

规则使用的运行队列，支持使用任务队列、自行指定队列两个选项。

• 使用任务队列：使用关联任务的引擎队列。当选择关联的任务名称后，才可选择该选项。
• 自行指定队列：自行选择要使用的引擎队列，下拉可选当前项目下所选集群已绑定的队列。项目绑定队列的操作请参见新建项目或编辑项目配置。

报警设置

*报警方式

支持邮箱、Webhook、飞书的告警方式。

*hookUrl

Webhook 请求地址，以 http 或 https 开头。 从下拉列表中选择 http 或 https，填写 Webhook URL 地址。欲了解详细的配置说明，请参见Webhook使用说明。

*报警接收

接收报警的用户、飞书群。

• 当报警方式选择邮箱或Webhook时，需选择接收报警的用户。
  • 用户：输入用户账号关键词后，在下拉列表中选择，支持设置多个。
• 当报警方式选择飞书时，需设置接收报警消息的用户或您所加入的飞书群。
  • 用户：报警消息将发送至用户名对应的飞书中。
    输入用户账号关键词后，在下拉列表中选择，支持设置多个。
  • 飞书群：报警消息将发送至飞书群ID对应的飞书群中。
    可通过下拉列表中的获取群ID按钮，查看要输入的飞书群ID。

高级设置

重试条件

运行失败

运行参数

按需配置 SQL 语句前的运行参数，如“set 参数名1=取值；”。

过滤条件

where之后的条件语句，语法逻辑跟HSQL一致，无需输入Where，如 type='xxx'。

${DATE}

获取业务时间日期

yyyy-MM-dd

天任务：2019/01/02 8点执行，${DATE} =2019-01-01小时任务：2019/01/02 8点执行，${DATE} =2019-01-02

${date}

获取业务时间日期

yyyyMMdd

天任务：2019/01/02 8点执行，${date} =20190101小时任务：2019/01/02 8点执行，${date} =20190102

${day}

获取业务时间日期

dd

天任务：2019/01/02 8点执行，${day} =01小时任务：2019/01/02 8点执行，${day} =02

${HOUR}

获取业务时间整点

h（整数）

天任务：2019/01/02 8点执行，${HOUR} =0小时任务：2019/01/02 8点执行，${HOUR} =7

${hour}

获取业务时间整点

hh

天任务：2019/01/02 8点执行，${hour} =00小时任务：2019/01/02 8点执行，${hour} =07

${MINUTE}

获取业务时间整分钟

m（整数）

天任务：2019/01/02 08:10点执行，${MINUTE} =0小时任务：2019/01/02 08:10点执行，${MINUTE} =05分钟任务：2019/01/02 08:10点执行，${MINUTE} =510分钟任务：2019/01/02 08:10点执行，${MINUTE} =10

${minute}

获取业务时间整分钟

mm

天任务：2019/01/02 08:10点执行，${minute} =00小时任务：2019/01/02 08:10点执行，${minute} =005分钟任务：2019/01/02 08:10点执行，${minute} =0510分钟任务：2019/01/02 08:10点执行，${minute} =10

${month}

获取业务时间月份

MM

天任务：2019/01/02 8点执行，${month} =01小时任务：2019/01/02 8点执行，${month} =01

${year}

获取业务时间年份

yyyy

天任务：2019/01/02 8点执行，${year} =2019小时任务：2019/01/02 8点执行，${year} =2019

${timestamp}

获取业务时间时间戳

XXXXXX...（整数）

天任务：2019/01/02 8点执行，${timestamp} =1546272000小时任务：2019/01/02 8点执行，${timestamp} =1546383600

${last_DATE}

获取业务时间所处月份的最后一天

yyyy-MM-dd

天任务：2019/01/02 8点执行，${last_DATE} =2019-01-31小时任务：2019/01/02 8点执行，${last_DATE} =2019-01-31

${last_date}

获取业务时间所处月份的最后一天

yyyyMMdd

天任务：2019/01/02 8点执行，${last_date-1} =20181231小时任务：2019/01/02 8点执行，${last_date-2} =20181130

${last_day}

获取业务时间所处月份的最后一天

dd

天任务：2019/01/02 8点执行，${last_day-1} =31小时任务：2019/01/02 8点执行，${last_day-2} =30

图示例