配置Hive自定义规则

规则信息

*规则名称

监控规则名称，自动填充，可编辑。

描述信息

规则的描述信息。

运行设置

*引擎

要创建规则的数据库存储引擎，支持 EMR、LAS 两个选项，下拉可选。

• LAS：直接选择，实例默认为 default。
• EMR：需从下拉列表中选择一个已创建的实例。

*执行方式

监控规则的执行方式，支持关联任务、定时调度和暂不设置三种方式。

• 关联任务：按照关联任务的调度时间执行。
• 定时调度：自行设置监控规则的执行时间。
• 暂不设置：不自动调度执行，可按需手动调度。

*任务名称

要关联任务的名称。通过任务名称关键词或者任务ID搜索后，下拉可选。
当执行方式选择关联任务时，需设置该参数。

*规则强弱

提供强、弱两个配置选项。

• 当选择强时，需设置熔断方式。任务执行完成之后，由熔断方式决定下游任务运行情况。

  说明

  任务执行完成后将进入强规则运行阶段，会增加任务运行时长，请根据自身需求合理配置。

• 如果是弱规则，任务会继续运行，如果失败仅发生报警通知，不会阻塞下游任务运行。

*熔断方式

如果是强规则，可选择以下两种熔断方式：

• 在规则运行完成之前，实例将一直处于运行中状态：是指若触发强规则告警，则实例状态置为失败，阻塞下游任务运行；若正常完成则置为成功。
• 若规则运行超过 X 分钟仍未结束，直接置实例为成功：是指规则运行超过设定时间，会触发告警通知，下游仍会继续运行，但可能存在数据质量污染风险，需要及时关注监控结果。超时时间可自行设定，取值范围为0~200。

*执行频率

任务监控规则执行频率，提供分钟级、小时级、天级三个选项。
当执行方式选择定时调度时，需设置该参数。

*执行时间

根据执行频率，设置具体的执行时间。
当执行方式选择定时调度时，需设置该参数。

*运行队列

规则使用的运行队列，支持使用默认队列、自行指定队列两个选项。

• 使用默认队列：使用系统默认的 yarn 队列，无需手动选择。
• 自行指定队列：自行选择要使用的 yarn 队列，下拉可选已申请的队列。若未申请 yarn 队列，请前往离线调度 > 队列管理申请。

当引擎选择 LAS 时，需设置该参数。

监控逻辑

*自定义SQL

符合 Hive 语法规范的 SQL 语句，支持 join 和 group by，group by 后需设置维度字段。

*字段名称

SQL字段名称。解析SQL语句后，自动填充，可编辑。

*字段类型

支持维度和指标两个选项。解析SQL语句后，自动填充，可编辑。

• 维度：规则报警后，会通报维度信息，便于用户拆解报警内容。如：维度app=toutiao下，指标DAU发出报警。用户可设置多个维度。
• 指标：监控的具体指标，需要设置报警条件。多个指标之间是独立的，任何一个满足报警条件，都会触发规则报警。

目前自定义SQL主要提供以下监控场景：

• 当所有字段的字段类型全部设置为指标时，可进行多指标监控（单行多列）。例如，监控某个产品线的DAU、MAU、人均在线时长等指标。
• 当至少有一个字段的字段类型设置为维度时，可进行多指标多维度监控（多行多列）。例如，监控多个产品线的DAU、MAU、人均在线时长等指标，一旦发出报警，会知道是哪个产品线下的哪个指标触发了报警，报警信息如下：
  • APP=toutiao, 指标DAU为XXX，触发报警。
  • APP=douyin, 指标MAU为XXX，触发报警。

*报警条件

解析SQL语句后，自动填充，可编辑。
支持数值、波动率等的报警，具体说明可参见配置模板规则的参数说明。多个报警条件之间的关系默认为且，可改为或。

高级参数设置

规则重试条件

运行失败

运行参数

按需配置 SQL 语句前的运行参数，如“set 参数名1=取值；”。

过滤条件

where之后的条件语句，语法逻辑跟HSQL一致，无需输入Where， 如 type='xxx'。

自定义报警时间

支持按需设置北京或 UTC 时间，下拉可选。

报警设置

*报警渠道

支持邮箱、短信、电话、Webhook 和飞书的报警方式。

*hookUrl

Webhook 请求地址，以 http 或 https 开头。
从下拉列表中选择 http 或 https，填写 Webhook URL 地址。欲了解详细的配置说明，请参见配置模板规则的 Webhook 使用说明。
当报警渠道选择 Webhook 时，需设置该参数。

*报警对象

接收报警的用户、飞书群或值班计划接收人。

• 当报警渠道选择邮箱、短信或 Webhook 时，需选择接收报警的用户或值班计划。
  • 用户：输入用户账号关键词后，在下拉列表中选择，支持设置多个。
  • 值班计划：输入值班计划名称的关键词后，在下拉列表中选择。设置后，报警消息将发送至值班计划中的接收人。
• 当报警渠道选择电话或飞书时，需设置接收报警消息的用户、值班计划或您所加入的飞书群。
  • 用户：报警消息将发送至用户名对应的飞书中。
    输入用户账号关键词后，在下拉列表中选择，支持设置多个。
  • 飞书群：报警消息将发送至飞书群ID对应的飞书群中。
    可通过飞书开放平台的开发工具模块，查看要输入的飞书群ID。获取ID的相关说明可通过下拉列表中的获取群ID查看。
  • 值班计划：报警消息将发送至值班计划中接收人的飞书中。
    输入值班计划名称的关键词后，在下拉列表中选择。

  说明

  • 将配置好的数据质量报警机器人加入飞书群后，才可发送消息至相应的飞书群。
  • 可通过查看值班计划按钮，查看值班计划列表及值班设置是否符合预期，并支持添加新值班计划，相关操作说明请参见值班管理。

*报警形式

支持普通和紧急两种形式。
当报警渠道选择飞书时，才需设置该参数。

*报警发送

报警发送的次数。

• 发送次数 X：可按需配置发送的次数，默认 1 次。
• 无限制,直至手动ACK解除：无次数限制，若取消发送，需手动ACK（Acknowledgement）来解除报警。
  • 报警频率
    若不及时ACK，系统会从首次报警起至次日（天级监控至次日00:00点；小时级监控至次日对应小时）按照固定频率发起规则校验，若不通过则触发报警。
  • 报警ACK
    ACK表示您已知晓这个报警信息，并会采取相应行动处理，不希望再次收到报警。ACK某个监控后，在设置的时间段内不会重复报警，最长23小时59分钟，过期后将再次发起重复检测。
    综上，建议及时ACK或进行任务/数据处理！

*发送间隔

报警发送的间隔时间，默认5分钟，可编辑。

*报警免打扰

可选择是否开启报警免打扰。
当选择开启时，可按需设置免打扰的时间段。