You need to enable JavaScript to run this app.
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

功能发布记录（2022年及之前）

最近更新时间：2024.02.23 14:29:12

首次发布时间：2024.02.23 14:29:12

我的收藏

本文为您介绍 2022 年及之前大数据研发治理套件 DataLeap 产品功能版本更新和相关文档动态。

2022/11/29

序号

功能

功能描述

使用文档

1

  • 新增 veDB MySQL 数据源
  • 新增 CloudFS 读取能力
  • 新增 veDB MySQL 数据源，支持 veDB MySQL_to_las 通道作业。
  • 新增 CloudFS 离线读取能力，支持 CFS_to_las 通道作业。

2

数据地图

  • LAS 表增加编辑功能。
  • 新建专题的创建、编辑、详情页默认展示一个“数据目录”页签，支持添加多种数据类型的库表；旧有专题仍维持之前的“EMR Hive目录”，“LAS目录”形式不变。
  • 专题支持关联术语。
  • 页面内容调整：数据发现更名为元数据采集、数据检索页面内容调整等。

2022/11/10

序号

功能

功能描述

使用文档

1

LAS Spark 作业支持 Python

LAS Spark 作业支持 Python 资源类型

LAS Spark

2

新增 Redis 数据源

数据集成任务新增 Redis 数据源，支持从 LAS 离线写入 Redis。

配置 Redis 数据源

3

运维监控报警支持更多形式

运维离线、流式任务监控，新增飞书群作为接收人；报警发送方式新增飞书、电话告警。

2022/10/31

序号

功能

功能描述

使用文档

1

控制台支持更换EMR集群

DataLeap 项目控制台支持更换已绑定的 EMR 集群。

更换引擎

2

独享资源组支持可用区B

独享计算资源组、独享集成资源组支持创建可用区 B 的资源组，同时 VPC 子网新增支持 10 网段。

资源组管理

3

资源类型优化

  • LAS、EMR 引擎新增支持 Zip、File 资源类型。
  • 新建资源、上传资源新增重名校验逻辑。

资源库

4

Webhook 接口验证

新增 Webhook 接口验证方式

Webhook 接口验证

5

术语管理

新增功能。
通过术语管理功能，可以创建并管理业务术语，创建的业务术语还可以关联到数据表。

术语管理

6

LAS 采集器优化

通过手动操作，完成集群元数据的首次全量获取。之后，采集器会自动实时更新元数据。

管理 LAS 采集器

7

增加动态/全量探查、队列优化

数据检索支持动态探查/全量探查，优化队列选择功能

检索数据

8

数据安全---审批流继承

新增审批流继承功能。
当某资源存在下级资源时，则可以开启审批流继承功能，对下级资源审批流进行统一管理。

设置审批流

9

指标平台

新增指标平台产品模块，主要包括规范定义、建模研发、管理中心等几部分。

指标平台

10

数据服务

数据服务结束公测体验，开始售卖正式版本服务。

2022/9/30

序号

功能

功能描述

使用文档

1

删除项目

项目控制台支持项目删除操作。

2

数据地图接入ByteHouse

数据地图接入 ByteHouse 数据表信息，提供查找 ByteHouse 元数据的能力。

3

Shell任务支持配置镜像

Shell 任务模板、通用任务类型 Shell，支持配置镜像地址

4

数据集成新增 Doris、ByteHouse CDW、BMQ、CloudFS数据源

  • 新增离线集成通道功能：MySQL2Doris、LAS2Doris、las2bytehouse（CDW版）, 火山mysql2bytehouse（CDW版）
  • 新增流式集成通道功能：bmq2lasfs、bmq2cfs、bmq2las

2022/8/31

序号

功能

功能描述

使用文档

1

报表任务

数据开发新增LAS、EMR邮件报表任务类型，支持通过邮件直接发送报表数据.

2

Serverless Flink流式任务监控

数据开发优化Serverless Flink开发体验，新增数据源相关监控告警。

实时任务报警监控

3

EMR-Doris、Bytehouse CDW数据源

数据服务新增基于EMR-Doris、Bytehouse CDW数据源的API开发能力。

数据源配置

4

独享计算资源组

新增独享任务计算资源组，适用于Notebook、Shell等任务开发场景。

资源组管理

2022/7/28

序号

功能

功能描述

使用文档

1

新增引擎 Serverless Flink

DataLeap 新增支持 Serverless Flink 计算引擎：

  • Serverless Flink 是火山引擎上提供的企业级全托管流式计算平台，支持开箱即用，Serverless极致弹性，极简SQL开发，流批一体等特性。

2

LAS 表预览探查支持队列选择

数据地图新增支持 LAS 表预览探查队列选择。

数据检索

2022/7/21

发布内容：

  • 新增“数据开发特惠版”（限时特惠），每日免费提供20个公共调度实例资源及2CU*时公共计算资源，同时还包括基础的数据开发、数据集成、任务运维、资产检索、数据安全管理功能
  • 首次开通DataLeap服务时，可选择“计算引擎组合购买”方式，一键开通DataLeap及LAS服务

2022/7/14

发布内容：

  • 数据服务上线，提供 API 在线开发及监控能力，支持 MySQL 数据源

2022/7/11

发布内容：

  • 智能市场，新增任务标签管理，可基于标签进行任务管理和查询等操作
  • 数据开发，新增Python、Shell、EMR Java Flink多种任务类型
  • 数据开发，新增EMR集群类型集成，包括EMR TensorFlow，EMR Flink
  • 数据开发，支持LAS多队列模式，可按需选择LAS公共队列或独享队列
  • 数据开发，临时查询新增Presto、Trino查询模式
  • 数据集成，新增TOS、Oracle、SqlServer数据源离线同步
  • 数据安全，支持按照用户组进行授权，提高授权效率
  • 数据地图，支持基于数据血缘关系，一键邮件通知上下游节点表变更信息
  • 产品体验及性能优化，升级UI及提示文案，修复部分遗留缺陷

2022/6/7

发布内容：

  • 数据集成体验优化，可自动获取MySQL数据源的表及字段配置信息，提高任务配置效率
  • 数据源注册连通性测试功能优化，MySQL/LAS数据源支持数据源链接连通检验
  • 项目下可添加多个已购独享集成资源组，开发数据集成任务时可按需选择
  • 数据开发，新增LAS Hive Sensor任务类型，可检查LAS指定分区的数据产出是否完成
  • 离线任务运维，新增“运维概览”，展示任务和实例运行状态统计信息，提高运维管理效率
  • 数据质量体验优化，支持按数据表监控对象设置质量规则，提供数据表质量监控的统一视图
  • 产品体验及稳定性优化，修复遗留缺陷

2022/5/19

发布内容：

  • 产品结束免费公测体验，开始售卖正式版本服务
  • 提供包括大数据分析、大数据集成、DataOps敏捷研发、分布式数据自治、湖仓一体等多种产品解决方案服务，可以结合业务需求，按需开通购买
  • 资源组管理，新增包年包月模式的独享集成资源组，以及按量付费模式的公共调度资源组、公共计算资源组
  • 数据安全，授权详情页面交互升级，优化体验
  • 数据地图，新增备注问答，通过灵活的问答方式，方便数据消费者理解数据

2022/04/28

发布内容：

  • 数据安全，新增用户组功能，可显著提高数据授权效率。同时新增续期提醒，权限到期前的14天/1天，系统发出续期提醒通知
  • 数据开发，新增 EMR Java Spark 任务类型，同时资源管理支持上传EMR Jar包资源包
  • 数据地图，提供更多的LAS/EMR元数据信息，优化预览探查体验

2022/04/02

发布内容：

  • 基线监控规则能力扩展，支持自定义“报警范围”，可按需选择对监控链路上全部任务，或指定项目下的任务进行报警
  • 项目下可自定义数据查询结果显示最大记录条数，同时对于查询结果可设置下载、复制的权限
  • 支持自定义项目参数，可在任务代码中灵活引用，实现参数的复用
  • 项目下支持鉴权配置，可分别设置任务在开发、生产环境运行时的账号鉴权身份

2022/03/04

发布内容：

  • 优化数据开发体验：
    • 新增编辑锁，优化协同开发体验
    • 目录树支持列表模式，可以批量操作，提高效率
    • 支持自定义LAS UDF
  • 任务运维DAG图支持列表模式，可批量操作
  • 数据集成，适配EMR HA模式，新增DSL任务类型
  • 数据地图，新增备注问答功能，增加LAS表大小、分区大小、数据条数等元数据信息显示，丰富数据检索内容
  • 数据质量，LAS spark driver日志显示优化

2022/01/13

  • 发布内容：
    • 数据集成，新增Kafka->LAS的数据集成通道类型
    • 数据开发，开发EMR HSQL，支持语法解析
    • 数据地图，新增EMR Hive字段编辑功能，LAS表支持设置数据保密级别
    • 数据安全，支持根据数据保密级别，自定义权限审批流

2021/12/09

DataLeap V1.1.0 发布内容：

  • 新增SLA治理，提供核心链路的综合治理能力
  • 数据集成，支持自建 RDS 数据源
  • 数据开发，支持LAS Java Spark、LAS Java Flink两种任务类型
  • 数据安全，支持授权审计

2021/10/15

发布内容：

  • 数据开发新增LAS引擎
  • 数据集成新增写入LAS数据源
  • 数据地图新增LAS数据源库表管理、LAS元数据检索
  • 新增数据安全模块，支持LAS引擎授权管理

2021/09/16

发布内容：

  • 新增DataLeap控制台
  • 新增数据集成
  • 新增数据开发
  • 新增数据运维
  • 新增数据质量
  • 新增数据地图