用户在数据质量平台上创建监控规则。2、数据质量平台收到规则创建请求后,会做以下三件事:* 将规则元数据保存到DB。* 根据规则的报警指标定义,在数据开发平台上创建对应的Flink SQL任务。* 将报警条件映射为... 监控的Flink SQL作业将计算结果sink到了TSDB,因此在用户查看历史监控指标结果时,数据质量平台可实时从TSDB拉取结果进行展示。此外,数据质量平台也在页面上将TSDB的表名、metric名透传给用户,便于用户更灵活地查...
为用户在数据开发阶段及时发现数据质量问题提供了便利的手段。本文分上下两次连载,作者系**字节跳动数据平台-开发套件团队-高级研发工程师 于啸雨**。长期以来,数据质量平台的各项能力都只支持batch数据源(主要是... 数据质量平台收到规则创建请求后,会做以下三件事:- 将规则元数据保存到DB。- 根据规则的报警指标定义,在数据开发平台上创建对应的Flink SQL任务。- 将报警条件映射为报警平台的触发规则。3、Flink SQL...
## 一、前言在谈数仓之前,先来看下面几个问题:### 1. 数仓为什么要分层?1. 用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,如果源业务系统的业... *每种方法从本质上将是从不同的角度看待业务中的问题*。#### 1) 范式建模法范式建模法其实是我们在构建数据模型常用的一个方法,该方法的主要由 Inmon 所提倡,主要解决关系型数据库的数据存储,利用的一种技术层面...