You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

功能发布记录

最近更新时间2023.08.30 14:48:11

首次发布时间2021.02.23 10:41:55

本文为您介绍 DataLeap 产品功能版本更新和相关使用文档。

2023/08/18

序号功能功能描述使用文档

1

服务部署

华东地区 LAS、流式计算 Flink 版引擎部署:

  • 数据开发新增支持 Serverless Flink 流式任务、LAS 离线任务及其余 LAS 相关功能。

  • 数据地图对接支持 LAS 服务能力。

  • 数据质量对接支持 LAS 服务能力。

  • 数据安全对接支持 LAS 服务能力。

2

数据开发

  • Serverless Flink SQL 新增数据源登记支持自动解析、DAG任务血缘查看;任务名称支持流水线管理检查;

  • LAS\EMR 流式任务新增数据源登记类型;

  • 数据开发支持 EMR Doris、EMR StarRocks 元数据表查看及智能联想等;

  • 实时任务运维对接云监控,可跳转云监控平台查看任务监控指标。

3

数据集成

数据集成新增支持整库同步能力:

  • 离线整库同步解决方案

  • 实时整库同步解决方案

4

数据质量

新增质量订阅功能

5

数据地图

  • LAS/LAS Hive支持TTL (仅上线华北)

  • 支持EMR Doris库表管理(新建、编辑、删除)

  • 界面结构调整

6

数据安全

主要更新如下:

  • 新增资源包功能

  • 支持自定义角色组,并支持应用在权限负责人、代办等功能

  • 我的权限-支持替他人申请

  • 历史权限-支持批量重新申请

  • 主动授权审计-支持查看授权类型

  • 代办设置-支持按角色设置代办

  • 在途工单审批人实时更新

2023/07/31

序号功能功能描述
使用文档

1

华南 DataLeap 服务部署

数据开发、数据集成、数据安全、数据质量、数据地图、数据服务新增华南地区:

  • 数据开发支持 EMR 引擎任务类型、通用任务、流式计算 Flink 版任务类型;

  • 数据集成新增支持离线集成、流式集成任务;

  • 数据质量支持 EMR 引擎的数据监控、数据探查、数据对比等能力;

  • 数据地图支持数据检索、专题、血缘、元数据采集等能力

  • 数据服务支持创建数据集、QUERY,并支持 API 监控运维、应用管理、系统管理等全量功能。

2

数据开发

  • 临时查询支持交互式分析 Notebook 查询类型。

  • LAS SQL 依赖推荐功能支持引导创建 Sensor 任务。

2023/07/18

序号功能功能描述
使用文档

1

数据开发

  • 新增 EMR Doris、EMR StarRocks 任务类型;

  • Shell\Python\Notebook 任务支持 0.25、0.5 CU 资源规格配置。

2

数据地图

EMR Hive、LAS 元数据采集新增支持单库表形式进行采集。

3

数据安全

  • 数据库表资源支持永久有效期申请;

  • 数据权限工单审批完成、已被撤销或已关闭后,可重新发起数据安全申请;

  • 新增数据库表资源的历史权限申请查看;

  • 权限设置新增操作历史记录查询、按资源设置自动审批、审批流支持触发节点、行限制支持批量上传/下载枚举值、密级升高时可选择是否回收权限、配置申请问答等功能。

4

数据治理

新增 DataLeap 数据治理模块,贴合业务实践的一站式数据治理产品解决方案。
从治理大盘、健康分评估、规划诊断、SLA保障、资源优化、告警归因、质量安全等多方位打通数据治理全链路。同时数据治理体系是自上而下贯穿整个组织架构的完整链条,帮助企业通过持续的数据评估、指导和监督,确保富有成效且高效的数据利用,促进多部门协作和决策,持续为实际业务创造价值。

2023/07/03

序号功能功能描述使用文档

1

数据开发

  • EMR Spark 任务类型支持 python 语言方式输出。

  • Shell\Python 任务支持使用独享资源组私有镜像能力。

  • 临时查询支持 EMR StarRocks SQL 查询任务类型。

  • 流式任务监控,支持 Webhook 报警方式。

  • 实时运维概览,新增任务监控大盘和资源使用分析。

  • EMR Flink SQL、LAS FlinkSQL、Serverless Flink SQL 任务新增支持添加任务输入参数

2

数据集成

数据集成新增以下通道:

  • Hive->Doris

  • LAS->ES

  • PostgreSQL->Hive

  • Mongo->Hive

  • MySQL->EMR StarRocks

  • PostgreSQL->Doris

3

控制台

  • 独享计算资源组支持私有镜像仓库绑定。

  • 创建项目支持绑定 EMR StarRocks 集群类型。

  • 参数设置支持查看批式/流式关联任务。

2023/06/15

序号功能功能描述使用文档

1

华东2 DataLeap 服务部署

数据质量、数据安全、数据集成新增华东地区:

  • 数据质量支持 EMR 引擎的数据监控、数据探查、数据对比等能力;

  • 数据集成新增支持离线集成、流式集成任务。

2

数据地图

  • 新增 EMR Hive、LAS 元数据采集产品化接入能力;

  • LAS 建表类型更改为:内表和 Managed Hive 。

3

数据安全

界面功能调整,新增合并工单、UI优化、权限设置功能迭代等。

2023/05/18

序号功能
功能描述
使用文档

1

数据地图

  • 支持接入EMR StarRocks

  • 支持LAS引擎创建普通hive表

  • 新增使用查询优化功能的协议配置功能

2023/05/10

序号功能功能描述使用文档

1

华东2(上海) DataLeap 服务部署

数据开发、数据地图模块新增华东地区:

  • 支持 EMR HSQL、Shell、Python 任务,其余任务类型后续敬请期待;

  • 支持临时查询、任务模板、元数据、资源/函数库、任务发布、运维中心等能力;

  • 数据地图支持 EMR Hive 元数据检索、采集、血缘图谱等能力。

  • 公共调度资源组、公共计算资源组、独享计算资源组新增华东地区。

2023/04/18

序号功能功能描述使用文档

1

数据开发

  • 数据开发 > 临时查询功能,新增 EMR Doris SQL 查询类型。

2

数据地图

  • LAS、EMR Hive 新增 DB 库详情页说明。

2023/03/16

序号功能功能描述使用文档

1

数据开发

  • EMR MapReduce 任务类型,基于 EMR 引擎提供 MapReduce 任务

2

数据集成

  • 新增 PostgreSQL、Mongo 数据源

  • 新增 PostgreSQL_Hive、Las_PostgreSQL、Mongo_Hive 通道任务

3

数据地图

  • 元数据采集:新增 EMR Doris 元数据采集,并对 ByteHouse CDW 元数据采集进行标准化改造。

  • 数据检索:支持字段探查,LAS 表编辑时不允许字段名和历史重复,支持检索新增的数据类型 EMR Doris。

  • 数据专题:支持 EMR Doris 和 ByteHouse CDW 数据。

2023/02/28

序号功能功能描述使用文档

1

数据开发

  • LAS SQL 任务,支持 Auto 执行引擎,加速 SQL 任务执行。

  • LAS Flink SQL 任务,新增队列水位校验,支持查看队列资源使用情况。

2

智能市场

  • 新增模拟建表体验,进行建表规范预检查。

2023/02/16

序号功能功能描述使用文档

1

数据地图

  • 新增复制建表功能;优化收藏表功能;LAS表支持展示敏感列。

  • 新建/编辑LAS库时,支持选择多个负责人。

2023/01/05

序号功能功能描述使用文档
1DataLeap 对接 EMR 1.3.1 以后的版本DataLeap 新增支持绑定 EMR 1.3.1 以后集群版本(EMR 2.0.1、2.1.0、3.0.1、3.1.0)新建项目
2批式计算 Spark 新增上传资源类型。批式计算 Spark 资源,创建 File 资源文件类型时,支持以下几种类型:.py .tar .tar .gz .txt .csv .xlsx .json .conf .yaml。资源库
3数据集成支持 Redis_to_las 可视化通道配置。配置 Redis 数据源
4消息通知运维中心任务运维新增消息通知功能,支持一键发送消息给任务责任人或项目管理员。任务运维
5智能市场新增建表规范, 对数仓场景下的建表流程进行约束,提升开发效率。数仓建表规范
6流水线管理控制台新增流水线管理,支持提交任务时进行事前检查。流水线管理

7

数据地图

  • 增加显示所有支持的血缘数据源选项;

  • 支持 LAS、EMR 表的建表规范检查。

8

指标平台

由公测转GA,支持指标服务

2022/11/29

序号功能功能描述使用文档

1

  • 新增 veDB MySQL 数据源

  • 新增 CloudFS 读取能力

  • 新增 veDB MySQL 数据源,支持 veDB MySQL_to_las 通道作业。

  • 新增 CloudFS 离线读取能力,支持 CFS_to_las 通道作业。

2

数据地图

  • LAS 表增加编辑功能。

  • 新建专题的创建、编辑、详情页默认展示一个“数据目录”页签,支持添加多种数据类型的库表;旧有专题仍维持之前的“EMR Hive目录”,“LAS目录”形式不变。

  • 专题支持关联术语。

  • 页面内容调整:数据发现更名为元数据采集、数据检索页面内容调整等。

2022/11/10

序号功能功能描述使用文档
1LAS Spark 作业支持 PythonLAS Spark 作业支持 Python 资源类型LAS Spark
2LAS Flink SQL 调试LAS Flink SQL 作业支持开发环境调试能力LAS Flink SQL

3

新增 Redis 数据源

数据集成任务新增 Redis 数据源,支持从 LAS 离线写入 Redis。

配置 Redis 数据源

4

运维监控报警支持更多形式

运维离线、流式任务监控,新增飞书群作为接收人;报警发送方式新增飞书、电话告警。

2022/10/31

序号功能功能描述使用文档
1控制台支持更换EMR集群DataLeap 项目控制台支持更换已绑定的 EMR 集群。更换引擎
2独享资源组支持可用区B独享计算资源组、独享集成资源组支持创建可用区 B 的资源组,同时 VPC 子网新增支持 10 网段。资源组管理

3

资源类型优化

  • LAS、EMR 引擎新增支持 Zip、File 资源类型。

  • 新建资源、上传资源新增重名校验逻辑。

资源库

4Webhook 接口验证新增 Webhook 接口验证方式Webhook 接口验证

5

术语管理

新增功能。
通过术语管理功能,可以创建并管理业务术语,创建的业务术语还可以关联到数据表。

术语管理

6LAS 采集器优化通过手动操作,完成集群元数据的首次全量获取。之后,采集器会自动实时更新元数据。管理 LAS 采集器

7

增加动态/全量探查、队列优化

数据检索支持动态探查/全量探查,优化队列选择功能

数据检索

8

数据安全---审批流继承

新增审批流继承功能。
当某资源存在下级资源时,则可以开启审批流继承功能,对下级资源审批流进行统一管理。

设置审批流

9指标平台新增指标平台产品模块,主要包括规范定义、建模研发、管理中心等几部分。指标平台
10数据服务数据服务结束公测体验,开始售卖正式版本服务。

2022/9/30

序号功能功能描述使用文档

1

删除项目

项目控制台支持项目删除操作。

2

数据地图接入ByteHouse

数据地图接入 ByteHouse 数据表信息,提供查找 ByteHouse 元数据的能力。

3

Shell任务支持配置镜像

Shell 任务模板、通用任务类型 Shell,支持配置镜像地址

4

数据集成新增 Doris、ByteHouse CDW、BMQ、CloudFS数据源

  • 新增离线集成通道功能:MySQL2Doris、LAS2Doris、las2bytehouse(CDW版), 火山mysql2bytehouse(CDW版)

  • 新增流式集成通道功能:bmq2lasfs、bmq2cfs、bmq2las

2022/8/31

序号
功能功能描述使用文档

1

报表任务

数据开发新增LAS、EMR邮件报表任务类型,支持通过邮件直接发送报表数据.

2Serverless Flink流式任务监控数据开发优化Serverless Flink开发体验,新增数据源相关监控告警。实时任务报警监控

3

EMR-Doris、Bytehouse CDW数据源

数据服务新增基于EMR-Doris、Bytehouse CDW数据源的API开发能力。

4独享计算资源组新增独享任务计算资源组,适用于Notebook、Shell等任务开发场景。资源组管理

2022/7/28

序号功能功能描述使用文档

1

新增引擎 Serverless Flink

DataLeap 新增支持 Serverless Flink 计算引擎:

  • Serverless Flink 是火山引擎上提供的企业级全托管流式计算平台,支持开箱即用,Serverless极致弹性,极简SQL开发,流批一体等特性。
2LAS 表预览探查支持队列选择数据地图新增支持 LAS 表预览探查队列选择。数据检索

版本发布时间:2022/7/21

  • 发布内容
    • 新增“数据开发特惠版”(限时特惠),每日免费提供20个公共调度实例资源及2CU*时公共计算资源,同时还包括基础的数据开发、数据集成、任务运维、资产检索、数据安全管理功能
    • 首次开通DataLeap服务时,可选择“计算引擎组合购买”方式,一键开通DataLeap及LAS服务

版本发布时间:2022/7/14

  • 发布内容
    • 数据服务 上线,提供API在线开发及监控能力,支持MySQL数据源

版本发布时间:2022/7/11

  • 发布内容
    • 智能市场,新增任务标签管理,可基于标签进行任务管理和查询等操作
    • 数据开发,新增Python、Shell、EMR Java Flink多种任务类型
    • 数据开发,新增EMR集群类型集成,包括EMR TensorFlow,EMR Flink
    • 数据开发,支持LAS多队列模式,可按需选择LAS公共队列或独享队列
    • 数据开发,临时查询新增Presto、Trino查询模式
    • 数据集成,新增TOS、Oracle、SqlServer数据源离线同步
    • 数据安全,支持按照用户组进行授权,提高授权效率
    • 数据地图,支持基于数据血缘关系,一键邮件通知上下游节点表变更信息
    • 产品体验及性能优化,升级UI及提示文案,修复部分遗留缺陷

版本发布时间:2022/6/7

  • 发布内容
    • 数据集成体验优化,可自动获取MySQL数据源的表及字段配置信息,提高任务配置效率
    • 数据源注册连通性测试功能优化,MySQL/LAS数据源支持数据源链接连通检验
    • 项目下可添加多个已购独享集成资源组,开发数据集成任务时可按需选择
    • 数据开发,新增LAS Hive Sensor任务类型,可检查LAS指定分区的数据产出是否完成
    • 离线任务运维,新增“运维概览”,展示任务和实例运行状态统计信息,提高运维管理效率
    • 数据质量体验优化,支持按数据表监控对象设置质量规则,提供数据表质量监控的统一视图
    • 产品体验及稳定性优化,修复遗留缺陷

版本发布时间:2022/5/19

  • 发布内容
    • 产品结束免费公测体验,开始售卖正式版本服务
    • 提供包括大数据分析、大数据集成、DataOps敏捷研发、分布式数据自治、湖仓一体等多种产品解决方案服务,可以结合业务需求,按需开通购买
    • 资源组管理,新增包年包月模式的独享集成资源组,以及按量付费模式的公共调度资源组、公共计算资源组
    • 数据安全,授权详情页面交互升级,优化体验
    • 数据地图,新增备注问答,通过灵活的问答方式,方便数据消费者理解数据

版本发布时间:2022/04/28

  • 发布内容
    • 数据安全,新增用户组功能,可显著提高数据授权效率。同时新增续期提醒,权限到期前的14天/1天,系统发出续期提醒通知
    • 数据开发,新增 EMR Java Spark 任务类型,同时资源管理支持上传EMR Jar包资源包
    • 数据地图,提供更多的LAS/EMR元数据信息,优化预览探查体验

版本发布时间:2022/04/02

  • 发布内容
    • 基线监控规则能力扩展,支持自定义“报警范围”,可按需选择对监控链路上全部任务,或指定项目下的任务进行报警
    • 项目下可自定义数据查询结果显示最大记录条数,同时对于查询结果可设置下载、复制的权限
    • 支持自定义项目参数,可在任务代码中灵活引用,实现参数的复用
    • 项目下支持鉴权配置,可分别设置任务在开发、生产环境运行时的账号鉴权身份

版本发布时间:2022/03/04

  • 发布内容
    • 优化数据开发体验:
      • 新增编辑锁,优化协同开发体验
      • 目录树支持列表模式,可以批量操作,提高效率
      • 支持自定义LAS UDF
    • 任务运维DAG图支持列表模式,可批量操作
    • 数据集成,适配EMR HA模式,新增DSL任务类型
    • 数据地图,新增备注问答功能,增加LAS表大小、分区大小、数据条数等元数据信息显示,丰富数据检索内容
    • 数据质量,LAS spark driver日志显示优化

版本发布时间:2022/01/13

  • 发布内容
    • 数据集成,新增Kafka->LAS的数据集成通道类型
    • 数据开发,开发EMR HSQL,支持语法解析
    • 数据地图,新增EMR Hive字段编辑功能,LAS表支持设置数据保密级别
    • 数据安全,支持根据数据保密级别,自定义权限审批流

DataLeap V1.1.0

  • 版本发布时间:2021/12/09

  • 发布内容:

    • 新增SLA治理,提供核心链路的综合治理能力
    • 数据集成,支持自建 RDS 数据源
    • 数据开发,支持LAS Java Spark、LAS Java Flink两种任务类型
    • 数据安全,支持授权审计

版本发布时间:2021/10/15

  • 发布内容:

    • 数据开发新增LAS引擎

    • 数据集成新增写入LAS数据源

    • 数据地图新增LAS数据源库表管理、LAS元数据检索

    • 新增数据安全模块,支持LAS引擎授权管理

版本发布时间:2021/09/16

  • 发布内容:

    • 新增DataLeap控制台

    • 新增数据集成

    • 新增数据开发

    • 新增数据运维

    • 新增数据质量

    • 新增数据地图