You need to enable JavaScript to run this app.
导航

分布式数据治理

最近更新时间2024.03.08 17:22:23

首次发布时间2024.03.08 17:22:23

1 SLA 治理

  • SLA 治理保障源于业务团队内部。首先是业务按需申报,可能是任何角色,认为自身任务重要,填写背景、原因、等级、时间等信息之后,即可发起一个 SLA。发起申报之后,在团队内部进行审核,可能存在同一个团队多个高优任务的情况,这由团队内部自行调整优先级。同时这也是跨团队判断该任务重要性的标准。
  • 其次完成线上签署,签署也会在产品里面体现出来。每个节点时间都有实时监控,如果 SLA 破线产生延迟,会推动业务做复盘和登记。DataLeap 也提供签署环图,包括申报业务单的查看,同时也可以让大家去查看每个等级的破线情况.
  • 如果 SLA 链路复杂且对业务造成了影响则会变成一次事故。在问题登记和复盘管理模块中,DataLeap 支持对于事故做登记以及整个缘由做复盘归因,复盘之后把这些解决方案做沉淀,防止未来相同问题反复出现。

详见 SLA 治理

2 数据质量

  • 事前数据探查:支持动态探查、对数据进行事前测试,查看内容的分布和数据特征,保证数据符合业务预期,避免下游用户因为数据错误导致决策失误。
  • 数据质量监控:包括离线数据质量监控和流式数据质量监控,同时提供了一些丰富的规则和策略,业务上可以是直接去使用。包含了自定义 SQL 逻辑,对单表多表的批量设置规则,平台提供了丰富的质量规则逻辑条件可供用户引用。
  • 强/弱规则不同处理机制:
    • 触发弱质量规则校验报警时,关联的生产数据任务依据自身逻辑返回执行状态,不受弱规则校验影响,不会阻塞下游任务运行;
    • 触发强质量规则校验报警时,即平台校验到生产的数据,不符合数据质量设置的规则预期,便将自动阻断关联的生产数据任务执行,用任务失败的方式去阻断下游数据污染。同时数据质量工具也提供了多种已沉淀下来的规则,包括像重复率、空值、枚举等这些质量规则,用户可以结合自己的业务诉求直接引用规则即可。
  • 数据对比:丰富的自定义对比能力,验证开发代码逻辑的准确性与数据结果,保障数据按预期产出。

详见数据质量

3 数据安全

  • 权限管理:根据业务场景,支持以单人、多人或用户组形式申请数据库表、资源包的访问权限,坚持最小授权原则,支持行列最细粒度的权限管控,精确控制数据权限。
  • 权限审计:在为保障授权的合理性以及规避潜在的数据安全风险,权限负责人和超管均可通过权限审计功能,对申请授权和主动授权的工单进行定期审计。审计的工作主要包括标记权限授权是否存在风险,对存在风险的授权进行处置和备注。
  • 审批中心:权限审批流程设置,针对不同密级和权限类型,设置权限自动审批或增加审批流程,审批人因休假或其余原因无法处理审批时,也支持设置代办人代理审批,提高权限审批效率。
  • 安全标签:自定义数据分类分级标签框架,并配置扫描任务,实现对指定数据资源进行识别,将分类分级标签推送至识别结果页,进行分类分级落标,以满足不同安全合规的差异性要求,灵活响应行业需求,加强数据安全保障。

详见数据安全