You need to enable JavaScript to run this app.
导航

概述

最近更新时间2023.10.16 10:44:27

首次发布时间2022.07.26 11:40:32

数据服务 帮助您将数据快速服务化,包括服务创建、管理、运维和共享等全生命周期管理能力。帮助搭建统一的数据服务出口,实现数据应用价值最大化。

1 常见的业务问题

业务通常期望使用接口方式来使用数据,而非数据表,这会更加灵活、解耦、高效。
因此,数据开发工程师需要建立对应的数据服务,一般会有以下两个要求:

  • 要求数据开发不仅仅是开发出数据表,还需要将数据表包装成一个独立的、灵活的、高可用的、安全的数据服务。

  • 要求数据开发工程师,除了具备基本的业务需求捕获、数据建模、SQL 开发等能力外,还要具备开发高可用、高性能的数据服务能力(包括 java 开发、微服务等)。

而目前常见的业务问题有以下 4 个:

  1. 不同的存储介质需求 :

    为保障数据的查询速度,符合业务使用要求,需要引入中间存储。根据不同的数据量和应用场景可能会使用不同的存储,而不同的中间存储提供的接口不同,需要我们独立开发和维护各类数据迁移任务与数据接口。

  2. 权限与可用性问题:

    开发完数据服务后,需要考虑权限问题,确保数据资源能被安全的访问;此外还需要考虑可用性问题,要以多种手段保障数据访问的稳定性。

  3. 运维问题:

    数据服务本身涉及多种运维问题,如扩容、迁移、下线、接口变更、服务报警等。

  4. 重复建设同质化服务接口:

    数据同步和微服务通常有很多共同之处,重复烟囱式的开发意味要重复开发数据服务,造成了人力资源和数据存储资源浪费。

这些问题导致我们通常会面临如下痛点:

  • 数据接入效率低

  • 管理及运维成本高

  • 接口质量不高

2 数据服务价值

为了解决常见的业务痛点问题,在数据服务体系下,我们提供步骤式、灵活脚本、原生 SQL 三种模式,从而降低开发门槛、提高开发效率、统一代码质量,方便管理变更等。
数据服务产品价值能力,概括为:

  1. 服务创建能力:

    面向数据库表的向导式和脚本式 Query。提供低代码快速构建 API,同时提供自定义的脚本模式创建 API,可以自助定义复杂的查询条件、聚合函数、判断逻辑等。

  2. API 管理与运维能力:

    支持 API 版本管理、鉴权、资产转移等完善的服务管理能力;支持 API 超时、失败等告警,服务调用成功失败率、请求次数等监控。

3 数据服务优势

  • 统一接口标准:提供统一的数据接口标准和服务元信息,为开发者屏蔽不同的中间存储,减少下游应用对接工作量,提升数据接入效率低。

  • 收敛数据计算逻辑,保障多应用数据一致性:将数据计算逻辑沉淀至数据平台,实现应用逻辑与数据逻辑解耦,减少数据计算在应用侧发生,实现指标、标签等数据资产一处存储多处使用,跨应用的数据一致。

  • 降低计算和存储资源:将数据存储和计算资源收敛到数据平台侧,使用接口统一查询,降低数据二次计算与各应用系统重复存储成本。

  • 数据安全与合规保障 :减少大量明细、敏感数据在应用侧的存储和暴露。使用统一平台数据安全管控策略,同时通过 API 审核发布、鉴权流控等手段,降低数据安全管控成本。

您可以通过数据服务平台来创建数据服务接口、运维服务、调用服务。
平台秉承“配置即服务”的理念,即数据开发工程师不再需要手写数据服务,只需要在平台系统上进行简单配置,便可自动生产和部署数据服务,从而提升效率。