You need to enable JavaScript to run this app.
导航

全链路敏捷研发

最近更新时间2024.03.08 17:22:23

首次发布时间2024.03.08 17:22:23

1 数据集成

实现稳定、安全、高效的全域数据集成,提供三十余种丰富异构数据源之间高速稳定的数据同步能力,通过可视化的方式,快速完成数据同步任务的配置工作。
详见数据集成

2 数据研发

一站式、全链路数据研发能力

  • 基于代码规范下的流水线配置管理,设置扩展程序对代码调试、提交、发布等上线流程的审核,实现持续、高效的数据交付。
  • 智能 IDE 协同开发,提供智能联想与动态语法检查,支持代码版本管理,带来流畅的开发体验,显著提升开发效率。
  • 基于 EMR、Serverless Flink、ByteHouse、LAS 等多种存储计算引擎,提供丰富的数据开发任务类型,如离线任务,流式任务,通用任务、交互式分析查询等任务类型。
  • 支持临时查询、数据库、资源库、函数库、任务模版、回收站、插件市场等产品能力。

详见数据开发

3 调度系统

自定义复杂调度设置

  • 每日百万级实例调度支撑,保障生产稳定、高效运行
  • 调度基础设置,包括任务执行频率(分钟级、小时级、天级、周级月级)、执行时间、空跑设置、重试设置、并发控制、回溯建议等,满足日常业务需求

详见调度设置

4 任务发布

标准发布流程、持续交付
发布中心解决开发过程中的可持续集成、可持续交付及可持续部署的问题,目标是提高数据研发效率,保障生产安全稳定,完善数仓研发全链路能力建设
详见任务发布

5 运维监控

一站式运维管控能力

  • 支持用户管理运维已上线任务。提供任务日常运维操作、任务运行情况监控和异常情况告警等功能。体系化解决“是否报警、何时报警、如何报警、给谁报警”的问题, 杜绝无效报警。
  • 离线/实时任务运维提供任务实例状态管理,支持任务开启/关闭、设置监控报警、任务重跑、终止、置成功、状态诊断、查看日志等常规运维操作。
  • 支持可视化展示调度任务的 DAG 图,方便对线上任务的依赖关系、实例数量等进行维护与运维管理。
  • 复杂业务场景下的数据回溯能力,解决补数据、重刷历史数据等问题。
  • 提供丰富的批、流任务监控规则和告警配置,归类业务运维管理,监控全链路任务运行。
  • 通过基线监控,可对目标任务及其全部上游任务组成的数据链路,进行全方位的监控和告警。

详见数据运维

6 数据服务

提供统一数据标准化服务能力

说明

数据服务提供了多种数据源去整体构建统一的 API 数据服务能力。为数据应用层,指标库,智能数据洞察提供服务,去助力整个数据消费层标准统一且高效使用。

  • 数据服务为开发者提供将表、指标转化成服务的能力。为数据中台提供统一的数据服务出口,实现数据应用价值最大化。
  • 丰富的数据源类型:支持 MySQL、ByteHouse、EMR-Doris、EMR-StarRocks 等丰富的数据源类型。
  • 完善的 API 管理能力:提供 API 创建测试、多环境发布、下线、编排开发、版本管理、告警与监控分析等数据全生命周期管理能力。
  • API 鉴权通过项目隔离、应用隔离、调用鉴权等方式,保证了数据使用的安全性。
  • 指标与表查询统一维护支持不同数据源类型的表查询和面向指标平台的主题式查询服务统一管理。

详见数据服务

7 项目管理

项目管控策略配置

说明

在项目管理侧,提供了项目级的复查配置、参数设置、队列管理、以及丰富的成员角色定义,来解决协同场景下的复杂权限控制和需求等,包括任务并行度设置等相关配置,来满足在业务侧的管理诉求。

  • 项目粒度的运行管控,支持任务发布规则、回溯规则、任务并行度、默认监控规则的统一设置。
  • 丰富的成员角色定义,解决协同场景下的复杂的权限控制需求。
  • 灵活的复查策略配置,区分离线/流式场景,规范生产操作。
  • 提供下载/查询控制的设置。

详见控制台