最近更新时间:2024.04.02 16:18:56
首次发布时间:2023.11.06 20:39:32
双数据源校验用于验证任意两种数据源之间的数据是否一致,可以是两种相同的数据源,也可以是两种不同的数据源。
该校验规则执行时,并非是对明细数据进行对比(如两份数据逐条校验),而是通过对两种数据源内的聚合指标做对比,来校验是否一致,比如:
因此,您需要定义以上聚合的指标,才可以完成该对比校验。
说明
当引擎为 LAS 时,暂不支持新建规则。
创建双数据源校验规则相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
---|---|
双数据源校验逻辑-选择数据源A | |
*数据源类型 | 进行比对的数据源A的类型,支持 MySQL、StarRocks、Doris、Hive 四个选项,下拉可选。 |
*数据源 | 使用的所选类型的数据源,自动填充一个已在控制台中登记的数据源,下拉可选其他。 |
*XX查询语句 | 对应所选类型的查询语句,如 MySQL查询语句,按需输入。 说明
|
双数据源校验逻辑-选择数据源B | |
*数据源类型 | 进行比对的数据源B的类型,支持 MySQL、StarRocks、Doris、Hive 四个选项,下拉可选。 |
*数据源 | 使用的所选类型的数据源,自动填充一个已在控制台中登记的数据源,下拉可选其他。 |
*XX查询语句 | 对应所选类型的查询语句,如 MySQL查询语句,按需输入。 说明
|
双数据源校验逻辑-关联维度(通过关联维度可实现检验字段的细粒度比对) | |
source维度 | 源端数据源A查询语句产出的维度字段,可配置多个。 说明 配置多个维度字段可能会导致校验任务执行时长增加。 |
target维度 | 目标端数据源B查询语句产出的维度字段,可配置多个。 |
双数据源校验逻辑-字段映射及逻辑检查 | |
*source字段 | 源端数据源A查询语句产出的指标字段,至少配置一个。 |
*target字段 | 目标端数据源B查询语句产出的指标字段,至少配置一个。 |
*报警条件 | 是指规则发出报警时,指标需要满足的条件。当监控指标被计算出来后,如果满足报警条件,就会发出报警。
|
设置监控规则 | |
*规则名称 | 该监控规则的名称,根据所选两端数据源类型和日期自动创建,支持手动修改。 |
描述信息 | 规则的描述信息。 |
设置监控规则-执行方式 | |
*执行方式 | 监控规则的执行方式,支持关联任务、定时调度和暂不设置三种方式。
|
*任务名称 | 要关联任务的名称,可通过任务名称关键词或ID进行搜索选择。 说明
|
*规则强弱 | 提供强、弱两个配置选项。
当执行方式选择关联任务时,需设置该参数。 |
*熔断方式 | 如果是强规则,可选择以下两种熔断方式:
|
*执行频率 | 任务监控规则执行频率,提供分钟级、小时级、天级三个选项。 |
*执行时间 | 根据执行频率,设置具体的执行时间。 |
报警设置 | |
*报警渠道 | 支持邮箱、短信、电话、Webhook 和飞书的告警方式,支持多选。 说明
|
*hookUrl | Webhook 请求地址,以 http 或 https 开头。 说明 设置 Webhook 后,通知消息将主动推送至对应 hookUrl 中。 |
*报警对象 | 接收报警的用户、飞书群或值班计划接收人。
|
*报警形式 | 支持普通和紧急两种形式。 |
*报警发送 | 报警发送的次数。
说明
|
*发送间隔 | 报警发送的间隔时间,默认5分钟,可编辑。 |
*报警免打扰 | 可选择是否开启报警免打扰。 |
对已创建的双数据源校验规则,可进行相应的管理操作,步骤如下: