概述

数据质量平台是一款针对数据及其生产链路的数据质量管理平台，为数据的开发及使用提供全套的数据质量解决方案。
数据质量平台具有多种功能，主要包括数据量、数据个性化指标的波动监控及异常报警，数据内容探查及差异对比等，保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、决策失误。

1 使用场景

在整个数据开发环节中，数据质量平台提供着重要的数据质量保障作用，具体如下：

• 在任务开发阶段

  数据探查对数据进行统计性分析，帮助判断数据质量情况，确定数据是否可用。

• 在任务发布阶段

  任务执行完成之后生成分区数据，触发监控规则进行质量监控校验。

• 质量校验过程中，发现质量异常

  根据规则设置的强弱属性，判断是否需要熔断下游任务防止异常扩散。

  • 如果是强规则，下游任务需要等待规则执行成功再继续执行。

  • 如果是弱规则，会发送失败告警但是不影响下游执行。

• 任务修改流程中的数据对比

  任务修改可以利用数据对比，对比线上和开发的数据，判断任务修改的影响面。

2 功能介绍

数据质量主要包括数据监控、数据探查、数据对比、质量订阅四个功能模块。

• 数据监控

  依据监控规则进行数据监控，支持离线数据监控和流式数据监控。其中，离线数据监控支持模板规则和自定义规则两种规则配置方式。

• 数据探查

  通过全量探查或动态探查，来了解数据全貌、发现潜在问题、理解数据分布。

• 数据对比

  通过创建数据对比，对新旧数据表到字段级进行差异量化对比，精确衡量数据变动的影响，为数据责任人提供参考依据。

• 质量订阅

  通过创建质量订阅，来接收报警机器人的质量日报消息。