You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

创建自定义规则

最近更新时间：2023.08.17 19:24:09

首次发布时间：2022.09.28 17:01:58

我的收藏

当遇到如下情况，平台提供的监控模板无法满足监控需求的时候，您可以通过自定义 SQL 创建自定义规则。

  • 需要通过一些复杂的判断逻辑或计算方式，将数据的字段转换为某个指标进行监控。

  • 某个衡量一致性的指标需要通过多表之间的 Join 后才可以得出。

1 前提条件

已在概览页面购买大数据分析、湖仓一体、DataOps 敏捷研发或分布式数据自治解决方案。

2 操作步骤

  1. 登录 DataLeap 控制台。

  2. 选择数据质量 > 数据监控 > 离线数据监控 > 监控对象，进入监控对象页面。

  3. 在页面右上角的项目下拉列表中，选择要管理项目。

  4. 单击自定义规则页签，进入自定义规则管理页面。

  5. 单击 +新建规则按钮，进入新建自定义规则页面。

  6. 依次完成以下设置：

    1. 设置规则参数，单击下一步按钮。

    2. 设置监控逻辑，单击下一步按钮。

      1. 输入符合 Hive 语法规范的 SQL 语句。

      2. 单击解析SQL 按钮，自动填充字段监控逻辑。

      3. 可根据需要修改或增加 SQL 字段监控设置。

      4. 可根据需要，设置高级参数。

    3. 设置报警设置信息。

  7. 单击创建规则按钮，完成规则创建。

说明

  • SQL 语句支持 join 和 group by，group by 后需设置维度字段。

  • 为了提升报警结果的可读性，建议采用 as 缩写复杂的指标名称，监控将执行该 SQL 并判断报警。

  • SQL 产出的数据行数最大为 200，超过部分会被截断，需合理控制产出数据量的大小。

创建自定义规则相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

参数说明
规则信息
*规则名称监控规则名称，自动填充，可编辑。
描述信息规则的描述信息。
运行设置
*引擎支持 EMR 和 LAS两个选项，下拉可选。

*关联任务

要关联任务的名称。通过任务名称关键词或者任务ID搜索后，下拉可选。

说明

仅支持关联当前项目下调度频率为小时/天/周/月级的离线任务。

*规则强弱

提供强、弱两个配置选项。

  • 当选择强时，需设置熔断方式。任务执行完成之后，由熔断方式决定下游任务运行情况。

    说明

    任务执行完成后将进入强规则运行阶段，会增加任务运行时长，请根据自身需求合理配置。

  • 如果是弱规则，任务会继续运行，如果失败仅发生报警通知，不会阻塞下游任务运行。

*熔断方式

如果是强规则，可选择以下两种熔断方式：

  • 在规则运行完成之前，实例将一直处于运行中状态：是指若触发强规则告警，则实例状态置为失败，阻塞下游任务运行；若正常完成则置为成功。

  • 若规则运行超过 X 分钟仍未结束，直接置实例为成功：是指规则运行超过设定时间，会触发告警通知，下游仍会继续运行，但可能存在数据质量污染风险，需要及时关注监控结果。超时时间可自行设定，取值范围为0~200。

监控逻辑
*自定义SQL符合 Hive 语法规范的 SQL 语句，支持 join 和 group by，group by 后需设置维度字段。
*字段名称SQL字段名称。解析SQL语句后，自动填充，可编辑。

*字段类型

支持维度和指标两个选项。解析SQL语句后，自动填充，可编辑。

  • 维度：规则报警后，会通报维度信息，便于用户拆解报警内容。如：维度app=toutiao下，指标DAU发出报警。用户可设置多个维度。

  • 指标：监控的具体指标，需要设置报警条件。多个指标之间是独立的，任何一个满足报警条件，都会触发规则报警。

目前自定义SQL主要提供以下监控场景：

  • 当所有字段的字段类型全部设置为指标时，可进行多指标监控（单行多列）。例如，监控某个产品线的DAU、MAU、人均在线时长等指标。

  • 当至少有一个字段的字段类型设置为维度时，可进行多指标多维度监控（多行多列）。例如，监控多个产品线的DAU、MAU、人均在线时长等指标，一旦发出报警，会知道是哪个产品线下的哪个指标触发了报警，报警信息如下：

    • APP=toutiao, 指标DAU为XXX，触发报警。

    • APP=douyin, 指标MAU为XXX，触发报警。

*报警条件

解析SQL语句后，自动填充，可编辑。
支持数值、波动率等的报警，具体说明可参见创建模板规则的参数说明。多个报警条件之间的关系默认为且，可改为或。

高级参数设置
规则重试条件运行失败
运行参数按需配置 SQL 语句前的运行参数，如“set 参数名1=取值；”。
过滤条件where之后的条件语句，语法逻辑跟HSQL一致，无需输入Where， 如 type='xxx'。
自定义报警时间支持按需设置北京或 UTC 时间，下拉可选。
报警设置
*报警方式支持邮箱、短信和 Webhook 的报警方式。

*Webhook

Webhook 请求地址，以 http 或 https 开头。
从下拉列表中选择 http 或 https，填写 Webhook URL 地址。欲了解详细的配置说明，请参见创建模板规则的 Webhook 使用说明。
当报警方式选择 Webhook 时，需设置该参数。

*报警接收人支持多个接收人。

*重复报警

可选择是否重复发送告警信息给相关接收人直到次日0：00。

  • 否，单次报警：仅发送一次报警通知，无需ACK（Acknowledgement）。

  • 是，需ACK：表示会重复发送报警通知，需要ACK来中断报警。 具体说明可参见创建模板规则的参数说明。