双数据源校验通过聚合指标来实现任意两种数据源聚合数据比对,例如,同类型数据源不同表之间的表行数是否一致、不同类型数据源两表中的相同字段总值(SUM)是否一致等等。本功能支持自定义 SQL 方式创建校验规则,本文将为您介绍如何配置双数据源校验规则。
角色类型为管理员、开发或复查人的项目成员才可创建并管理规则,而访客和非项目成员仅具备查看权限。管理项目成员的操作请参见成员管理。
已绑定要监控数据的引擎服务,相关操作可参见新建项目。
创建双数据源校验规则相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。
参数 | 说明 |
|---|---|
双数据源校验逻辑-选择数据源A | |
*数据源类型 | 进行比对的数据源A的类型,支持 Apache Hadoop、GaussDB(DWS)两个选项,下拉可选。 |
*集群 | 使用的所选类型的集群,自动填充一个已注册并创建采集器的集群,下拉可选其他。 说明 仅可选择当前项目下的集群。 |
*运行队列 | 规则使用的运行队列,下拉可选当前集群已绑定的队列。若未申请队列,请前往控制台资源管理进行申请。 说明 当数据源类型选择 Apache Hadoop 时,需设置该参数。 |
*XX查询语句 | 对应所选类型的查询语句,用来定义需要检查的指标,按需输入,例如以下 Apache Hadoop查询语句:
说明
|
双数据源校验逻辑-选择数据源B | |
*数据源类型 | 进行比对的数据源B的类型,支持 Apache Hadoop、GaussDB(DWS)两个选项,下拉可选。 |
*集群 | 使用的所选类型的集群,自动填充一个已注册并创建采集器的集群,下拉可选其他。 说明 仅可选择当前项目下的集群。 |
*运行队列 | 规则使用的运行队列,下拉可选当前集群已绑定的队列。若未申请队列,请前往控制台资源管理进行申请。 说明 当数据源类型选择 Apache Hadoop 时,需设置该参数。 |
*XX查询语句 | 对应所选类型的查询语句,用来定义需要检查的指标,如 Apache Hadoop查询语句,按需输入。 说明 仅支持单行聚合数据比对。 |
双数据源校验逻辑-关联维度(通过关联维度可实现检验字段的细粒度比对) | |
source维度 | 源端数据源A查询语句产出的维度字段,可配置多个。 说明 配置多个维度字段可能会导致校验任务执行时长增加。 |
target维度 | 目标端数据源B查询语句产出的维度字段,可配置多个。 |
双数据源校验逻辑-字段映射及逻辑检查 | |
*source字段 | 源端数据源A查询语句产出的指标字段,至少配置一个。 |
*target字段 | 目标端数据源B查询语句产出的指标字段,至少配置一个。 |
*报警条件 | 是指规则发出报警时,指标需要满足的条件。当监控指标被计算出来后,如果满足报警条件,就会发出报警。
说明 一组指标字段可设置一个报警条件,多组字段之间的报警关系为或。 |
设置监控规则 | |
*规则名称 | 该监控规则的名称,根据所选两端数据源类型和日期自动创建,支持手动修改。 |
描述信息 | 规则的描述信息。 |
设置监控规则-执行方式 | |
*执行方式 | 监控规则的执行方式,支持关联任务、定时调度和手动执行三种方式。
|
*任务名称 | 要关联任务的名称,可通过任务名称关键词或ID进行搜索选择。 说明
|
*规则强弱 | 提供强、弱两个配置选项。
说明 当执行方式选择关联任务时,需设置该参数。 |
*熔断方式 | 如果是强规则,可选择以下两种熔断方式:
|
*执行频率 | 任务监控规则执行频率,提供分钟级、小时级、天级三个选项。 |
*执行时间 | 根据执行频率,设置具体的执行时间。 |
报警设置 | |
*报警方式 | 支持邮箱、Webhook 和飞书的告警方式,下拉可选。 说明 配置相应的飞书报警机器人后,才会显示飞书选项。报警机器人由您自行创建并配置,相关操作说明请参见报警接收渠道配置。 |
*hookUrl | Webhook 请求地址,以 http 或 https 开头。 从下拉列表中选择 http 或 https,填写 Webhook URL 地址。欲了解详细的配置说明,请参见Webhook使用说明。 说明
|
*报警接收 | 接收报警的用户、飞书群。
|
对已创建监控规则的监控对象,可进行相应的管理操作,步骤如下:
规则运行后,您可到运行结果页面查看该规则的运行结果,查看报警情况,查找并分析问题。管理规则运行结果的相关操作说明请参见管理双数据源校验监控结果。