You need to enable JavaScript to run this app.
导航
概述
最近更新时间:2024.07.16 19:52:11首次发布时间:2021.08.13 15:07:15

数据质量平台是一款针对数据及其生产链路的数据质量管理平台,为数据的开发及使用提供全套的数据质量解决方案。
数据质量平台具有多种功能,主要包括数据量、数据个性化指标的波动监控及异常报警,数据内容探查及差异对比等,保证了数据在生产及使用流程中的可靠性和合理性,从而避免因为数据质量问题而导致数据失信、决策失误。

1 使用场景

在整个数据开发环节中,数据质量平台提供着重要的数据质量保障作用,具体如下:

  • 在任务开发阶段
    数据探查对数据进行统计性分析,帮助判断数据质量情况,确定数据是否可用。
  • 在任务发布阶段
    任务执行完成之后生成分区数据,触发监控规则进行质量监控校验。
  • 质量校验过程中,发现质量异常
    根据规则设置的强弱属性,判断是否需要熔断下游任务防止异常扩散。
    • 如果是强规则,下游任务需要等待规则执行成功再继续执行。
    • 如果是弱规则,会发送失败告警但是不影响下游执行。
  • 任务修改流程中的数据对比
    任务修改可以利用数据对比,对比线上和开发的数据,判断任务修改的影响面。

图片

2 功能介绍

数据质量主要包括数据监控、数据探查、数据对比、质量订阅四个功能模块。

  • 数据监控
    依据监控规则进行数据监控,支持离线数据监控和流式数据监控。其中,离线数据监控支持模板规则、自定义规则、双数据源校验等多种规则配置方式。
  • 数据探查
    通过全量探查或动态探查,来了解数据全貌、发现潜在问题、理解数据分布。
  • 数据对比
    通过创建数据对比,对新旧数据表到字段级进行差异量化对比,精确衡量数据变动的影响,为数据责任人提供参考依据。
  • 质量订阅
    通过创建质量订阅,来接收报警机器人的质量日报消息。