You need to enable JavaScript to run this app.
导航
大数据研发治理套件
  • 文档首页
    • /大数据研发治理套件/产品动态/功能发布记录（2023年）
功能发布记录（2023年）
最近更新时间：2024.02.23 14:29:13首次发布时间：2024.02.23 14:29:13
我的收藏

本文为您介绍 2023 年大数据研发治理套件 DataLeap 产品功能和对应的文档动态。

2023/12/21

序号

功能

功能描述

使用文档

1

数据集成

  • ByteHouse CDW 离线写入时，支持写入动态分区；
  • HBase 数据源支持火山引擎 HBase 数据库标品数据源配置；
  • Doris 数据源新增支持离线读取 Doris 数据；
  • 新增 VeDB 数据源配置，支持离线读取和写入 VeDB 数据；
  • 新增火山引擎 TLS 数据源配置
  • 实时整库、分库分表同步解决方案，新增支持写入 ByteHouse CDW 目标数据源，DDL 消息策略支持新加表的处理策略；
  • 实时整库、分库分表、离线整库同步解决方案，支持对已有表进行字段列匹配规则设置，设置全局高级参数能力；
  • 独享集成资源组新增支持退订操作。

2

数据开发

  • 基于 ByteHouse CE 引擎，新增 ByteHouse CE SQL 任务
  • 临时查询支持 ByteHouse CE SQL 临时查询任务

3

控制台

  • 创建项目新增支持绑定 ByteHouse CE 引擎实例

4

指标平台

  • 新增维度管理功能
  • 建模增加支持Doris数据源类型

2023/12/05

序号

功能

功能描述

使用文档

1

数据开发

  • 数据开发调试、提交、发布流程支持接入 DataOPS 流水线管理；
  • Flink SQL 任务类型，新增支持引用 Jar 资源包形式，在资源中自定义 Connector；
  • EMR 引擎任务类型，支持选择 Yarn 队列资源，对应项目可支持配置多个 Yarn 队列资源可供任务选择。

2

控制台

  • DataOPS 流水线管理更新，流水线支持添加扩展程序；
  • EMR 集群支持添加多个 Yarn 队列资源；
  • 数据源配置支持开发、生产环境隔离；
  • 独享计算、调度资源组支持扩缩容。

3

数据质量

  • 数据质量双数据源校验支持 Hive 数据源，用于验证任意两种数据源之间的数据是否一致。

2023/11/27

序号

功能

功能描述

使用文档

1

数据开发

  • 临时查询支持“通用 - MySQL 数据库”查询通道；
  • Serverless Flink SQL 任务支持创建快照，指定历史快照信息重启；支持 Session 集群调试能力；

2

数据集成

  • 实时分库分表、实时整库解决方案中新增 DataSail 内置缓存通道；
  • 新增实时数据采集解决方案；
  • 新增 DataSail 数据源配置；
  • TOS 数据源支持离线方式写入数据；
  • ClickHouse、Hive、MySQL、Oracle、PostgreSQL、SQLServer、StarRocks等数据源，源端字段读取支持配置常量、变量、数据库函数等能力；
  • 独享集成资源组支持资源组扩容能力。

3

控制台

  • 新增流式集群管理，用于 Serverless Flink SQL 任务 Session 集群调试；
  • 独享集成资源组支持资源组扩容能力；
  • EMR StarRocks 集群类型支持安全模式访问，提升库表权限管理能力。

4

数据安全

数据安全新增支持 EMR StarRocks 集群下库表的权限申请、授权管理等操作。

5

数据地图

  • 支持 EMR Doris 血缘
  • 支持 Elasticsearch元数据采集
  • 支持 EMR StarRocks 安全模式

2023/11/09

序号

功能

功能描述

使用文档

1

数据开发

  • Shell/Python 任务支持引用资源
  • 资源库新增通用资源类型，支持 Shell/Python 任务引用。

2

数据集成

  • 实时分库分表、实时整库解决方案，支持 DDL 策略配置。
  • 离线整库同步解决方案，支持批量添加库名/表名映射规则、手动编辑字段名、字段类型信息。
  • TOS 数据源支持流式写入。
  • 新增 TDengine 数据源，支持 TDengine 批式读、流式读能力。
  • ByteHouse CDW 支持可视化读，并支持写入非分区表。
  • 单通道流式能力新增支持流式写入 MySQL、Oracle、PostgreSQL、SQLServer。

2023/10/20

序号

功能

功能描述

使用文档

1

数据开发

  • 数据开发新增支持流式计算 Flink 引擎下，离线 Flink Batch SQL 任务。
  • Notebook 数据开发、临时查询任务，支持 Python Spark on EMR 的 Kernel 类型。

2

数据集成

  • 新增实时分库分表解决方案，支持 MySQL、PostgreSQL、SQLServer 数据源读取。
  • ByteHouse CDW 支持 DSL 模式读和可视化模式写。
  • 整库实时解决方案新增支持 MongoDB 数据源读取。

2023/09/27

序号

功能

功能描述

使用文档

1

数据开发

  • 数据开发界面支持任务批量删除操作；
  • EME SQL、EMR StarRocks 任务支持自动解析任务产出登记、依赖推荐；
  • 任务调度配置支持优先级保障、任务调度支持独享调度资源组配置；
  • 离线/流式运维监控报警新增值班计划为接收人，自定义值班表；
  • 流式计算 Flink 版引擎中，Serverless Flink SQL、Serverless Java Flink 任务支持重启模式选择，新增 Flink-1.16 执行引擎版本；
  • DataLeap 流式计算 Flink 版、EMR 引擎流式任务，Flink 运行参数支持子类查看模式；
  • 发布中心支持同 Region 跨项目任务同步，及发布包导出功能；
  • LAS Flink SQL、LAS Java Flink 任务能力下线

2

值班管理

新增值班管理模块，可自定义值班表，对接运维中心、数据质量等模块支持值班计划为报警接收人。

值班管理

2

控制台

  • 子用户拥有 DataLeapFullAccess 权限时，可支持开通 DataLeap 服务；
  • 单项目支持绑定多个 EMR 集群，单个 EMR 集群支持被多个项目同时绑定；
  • EMR 集群支持安全模式接入；
  • 新增独享调度资源组；
  • 项目管理增加离线降级管理、同步设置功能

3

数据质量

  • 支持飞书、电话报警，报警接收支持值班计划
  • 数据监控、探查、对比时，EMR 集群支持安全模式鉴权
  • 新增定时对比功能

4

数据安全

支持EMR数据源

5

数据地图

  • EMR Hive表支持设置TTL
  • EMR Hive接入EMR安全模式
  • LAS、EMR Hive表详情页增加显示浏览次数、最新分区时间等
  • 增加EMR StarRocks库表管理功能
  • 增加质量信息功能

6

数据服务

全新改版

全部文档：数据服务

2023/08/18

序号

功能

功能描述

使用文档

1

服务部署

华东地区 LAS、流式计算 Flink 版引擎部署：

  • 数据开发新增支持 Serverless Flink 流式任务、LAS 离线任务及其余 LAS 相关功能。
  • 数据地图对接支持 LAS 服务能力。
  • 数据质量对接支持 LAS 服务能力。
  • 数据安全对接支持 LAS 服务能力。

2

数据开发

  • Serverless Flink SQL 新增数据源登记支持自动解析、DAG任务血缘查看；任务名称支持流水线管理检查；
  • EMR 流式任务新增数据源登记类型；
  • 数据开发支持 EMR Doris、EMR StarRocks 元数据表查看及智能联想等；
  • 实时任务运维对接云监控，可跳转云监控平台查看任务监控指标。

3

数据集成

数据集成新增支持整库同步能力：

  • 离线整库同步解决方案
  • 实时整库同步解决方案

4

数据质量

新增质量订阅功能

5

数据地图

  • LAS/LAS Hive支持TTL （仅上线华北）
  • 支持EMR Doris库表管理（新建、编辑、删除）
  • 界面结构调整

6

数据安全

主要更新如下：

  • 新增资源包功能
  • 支持自定义角色组，并支持应用在权限负责人、代办等功能
  • 我的权限-支持替他人申请
  • 历史权限-支持批量重新申请
  • 主动授权审计-支持查看授权类型
  • 代办设置-支持按角色设置代办
  • 在途工单审批人实时更新

2023/07/31

序号

功能

功能描述

使用文档

1

华南 DataLeap 服务部署

数据开发、数据集成、数据安全、数据质量、数据地图、数据服务新增华南地区：

  • 数据开发支持 EMR 引擎任务类型、通用任务、流式计算 Flink 版任务类型；
  • 数据集成新增支持离线集成、流式集成任务；
  • 数据质量支持 EMR 引擎的数据监控、数据探查、数据对比等能力；
  • 数据地图支持数据检索、专题、血缘、元数据采集等能力
  • 数据服务支持创建数据集、QUERY，并支持 API 监控运维、应用管理、系统管理等全量功能。

2

数据开发

  • 临时查询支持交互式分析 Notebook 查询类型。
  • LAS SQL 依赖推荐功能支持引导创建 Sensor 任务。

2023/07/18

序号

功能

功能描述

使用文档

1

数据开发

  • 新增 EMR Doris、EMR StarRocks 任务类型；
  • Shell\Python\Notebook 任务支持 0.25、0.5 CU 资源规格配置。

2

数据地图

EMR Hive、LAS 元数据采集新增支持单库表形式进行采集。

3

数据安全

  • 数据库表资源支持永久有效期申请；
  • 数据权限工单审批完成、已被撤销或已关闭后，可重新发起数据安全申请；
  • 新增数据库表资源的历史权限申请查看；
  • 权限设置新增操作历史记录查询、按资源设置自动审批、审批流支持触发节点、行限制支持批量上传/下载枚举值、密级升高时可选择是否回收权限、配置申请问答等功能。

4

数据治理

新增 DataLeap 数据治理模块，贴合业务实践的一站式数据治理产品解决方案。
从治理大盘、健康分评估、规划诊断、SLA保障、资源优化、告警归因、质量安全等多方位打通数据治理全链路。同时数据治理体系是自上而下贯穿整个组织架构的完整链条，帮助企业通过持续的数据评估、指导和监督，确保富有成效且高效的数据利用，促进多部门协作和决策，持续为实际业务创造价值。

2023/07/03

序号

功能

功能描述

使用文档

1

数据开发

  • EMR Spark 任务类型支持 python 语言方式输出。
  • Shell\Python 任务支持使用独享资源组私有镜像能力。
  • 临时查询支持 EMR StarRocks SQL 查询任务类型。
  • 流式任务监控，支持 Webhook 报警方式。
  • 实时运维概览，新增任务监控大盘和资源使用分析。
  • EMR Flink SQL、LAS FlinkSQL、Serverless Flink SQL 任务新增支持添加任务输入参数

2

数据集成

数据集成新增以下通道：

  • Hive->Doris
  • LAS->ES
  • PostgreSQL->Hive
  • Mongo->Hive
  • MySQL->EMR StarRocks
  • PostgreSQL->Doris

3

控制台

  • 独享计算资源组支持私有镜像仓库绑定。
  • 创建项目支持绑定 EMR StarRocks 集群类型。
  • 参数设置支持查看批式/流式关联任务。

2023/06/15

序号

功能

功能描述

使用文档

1

华东2 DataLeap 服务部署

数据质量、数据安全、数据集成新增华东地区：

  • 数据质量支持 EMR 引擎的数据监控、数据探查、数据对比等能力；
  • 数据集成新增支持离线集成、流式集成任务。

2

数据地图

  • 新增 EMR Hive、LAS 元数据采集产品化接入能力；
  • LAS 建表类型更改为：内表和 Managed Hive 。

3

数据安全

界面功能调整，新增合并工单、UI优化、权限设置功能迭代等。

2023/05/18

序号

功能

功能描述

使用文档

1

数据地图

  • 支持接入EMR StarRocks
  • 支持LAS引擎创建普通hive表
  • 新增使用查询优化功能的协议配置功能

2023/05/10

序号

功能

功能描述

使用文档

1

华东2(上海) DataLeap 服务部署

数据开发、数据地图模块新增华东地区：

  • 支持 EMR HSQL、Shell、Python 任务，其余任务类型后续敬请期待；
  • 支持临时查询、任务模板、元数据、资源/函数库、任务发布、运维中心等能力；
  • 数据地图支持 EMR Hive 元数据检索、采集、血缘图谱等能力。
  • 公共调度资源组、公共计算资源组、独享计算资源组新增华东地区。

2023/04/18

序号

功能

功能描述

使用文档

1

数据开发

  • 数据开发 > 临时查询功能，新增 EMR Doris SQL 查询类型。

2

数据地图

  • LAS、EMR Hive 新增 DB 库详情页说明。

2023/03/16

序号

功能

功能描述

使用文档

1

数据开发

  • EMR MapReduce 任务类型，基于 EMR 引擎提供 MapReduce 任务

2

数据集成

  • 新增 PostgreSQL、Mongo 数据源
  • 新增 PostgreSQL_Hive、Las_PostgreSQL、Mongo_Hive 通道任务

3

数据地图

  • 元数据采集：新增 EMR Doris 元数据采集，并对 ByteHouse CDW 元数据采集进行标准化改造。
  • 数据检索：支持字段探查，LAS 表编辑时不允许字段名和历史重复，支持检索新增的数据类型 EMR Doris。
  • 数据专题：支持 EMR Doris 和 ByteHouse CDW 数据。

2023/02/28

序号

功能

功能描述

使用文档

1

数据开发

  • LAS SQL 任务，支持 Auto 执行引擎，加速 SQL 任务执行。

2

智能市场

  • 新增模拟建表体验，进行建表规范预检查。

2023/02/16

序号

功能

功能描述

使用文档

1

数据地图

  • 新增复制建表功能；优化收藏表功能；LAS表支持展示敏感列。
  • 新建/编辑LAS库时，支持选择多个负责人。

2023/01/05

序号

功能

功能描述

使用文档

1

DataLeap 对接 EMR 1.3.1 以后的版本

DataLeap 新增支持绑定 EMR 1.3.1 以后集群版本（EMR 2.0.1、2.1.0、3.0.1、3.1.0）

新建项目

2

批式计算 Spark 新增上传资源类型。

批式计算 Spark 资源，创建 File 资源文件类型时，支持以下几种类型：.py .tar .tar .gz .txt .csv .xlsx .json .conf .yaml。

资源库

3

数据集成

支持 Redis_to_las 可视化通道配置。

配置 Redis 数据源

4

消息通知

运维中心任务运维新增消息通知功能，支持一键发送消息给任务责任人或项目管理员。

任务运维

5

智能市场

新增建表规范， 对数仓场景下的建表流程进行约束，提升开发效率。

数仓建表规范

6

流水线管理

控制台新增流水线管理，支持提交任务时进行事前检查。

流水线管理

7

数据地图

  • 增加显示所有支持的血缘数据源选项；
  • 支持 LAS、EMR 表的建表规范检查。

8

指标平台

由公测转GA，支持指标服务