功能发布记录（2023年）

1

数据集成

• ByteHouse CDW 离线写入时，支持写入动态分区；
• HBase 数据源支持火山引擎 HBase 数据库标品数据源配置；
• Doris 数据源新增支持离线读取 Doris 数据；
• 新增 VeDB 数据源配置，支持离线读取和写入 VeDB 数据；
• 新增火山引擎 TLS 数据源配置
• 实时整库、分库分表同步解决方案，新增支持写入 ByteHouse CDW 目标数据源，DDL 消息策略支持新加表的处理策略；
• 实时整库、分库分表、离线整库同步解决方案，支持对已有表进行字段列匹配规则设置，设置全局高级参数能力；
• 独享集成资源组新增支持退订操作。

• 配置 ByteHouse CDW 数据源
• 配置 HBase 数据源
• 配置 Doris 数据源
• 配置 VeDB 数据源
• 配置 TLS 数据源
• 实时分库分表解决方案
• 实时整库同步解决方案
• 离线整库同步解决方案
• 独享资源组管理

2

数据开发

• 基于 ByteHouse CE 引擎，新增 ByteHouse CE SQL 任务
• 临时查询支持 ByteHouse CE SQL 临时查询任务

• ByteHouse CE SQL
• 临时查询

3

控制台

• 创建项目新增支持绑定 ByteHouse CE 引擎实例

• 创建项目
• 管理引擎

4

指标平台

• 新增维度管理功能
• 建模增加支持Doris数据源类型

• 管理分类
• 管理维度
• 管理模型

1

数据开发

• 数据开发调试、提交、发布流程支持接入 DataOPS 流水线管理；
• Flink SQL 任务类型，新增支持引用 Jar 资源包形式，在资源中自定义 Connector；
• EMR 引擎任务类型，支持选择 Yarn 队列资源，对应项目可支持配置多个 Yarn 队列资源可供任务选择。

• 数据开发概述、流水线管理
• Serverless Flink SQL、EMR Flink SQL
• EMR 引擎、调度设置、临时查询

2

控制台

• DataOPS 流水线管理更新，流水线支持添加扩展程序；
• EMR 集群支持添加多个 Yarn 队列资源；
• 数据源配置支持开发、生产环境隔离；
• 独享计算、调度资源组支持扩缩容。

• 流水线管理、扩展程序说明
• 创建项目、修改项目配置信息
• 独享资源组管理

3

数据质量

• 数据质量双数据源校验支持 Hive 数据源，用于验证任意两种数据源之间的数据是否一致。

• 配置双数据源校验规则

1

数据开发

• 临时查询支持“通用 - MySQL 数据库”查询通道；
• Serverless Flink SQL 任务支持创建快照，指定历史快照信息重启；支持 Session 集群调试能力；

• 临时查询
• Serverless Flink SQL
• 实时任务运维

2

数据集成

• 实时分库分表、实时整库解决方案中新增 DataSail 内置缓存通道；
• 新增实时数据采集解决方案；
• 新增 DataSail 数据源配置；
• TOS 数据源支持离线方式写入数据；
• ClickHouse、Hive、MySQL、Oracle、PostgreSQL、SQLServer、StarRocks等数据源，源端字段读取支持配置常量、变量、数据库函数等能力；
• 独享集成资源组支持资源组扩容能力。

• 实时分库分表解决方案
• 实时整库同步解决方案
• 实时数据采集解决方案
• 配置 DataSail 数据源
• 配置 TOS 数据源
• ClickHouse、Hive、MySQL、Oracle、PostgreSQL、SQLServer、StarRocks 数据源配置
• 独享资源组

3

控制台

• 新增流式集群管理，用于 Serverless Flink SQL 任务 Session 集群调试；
• 独享集成资源组支持资源组扩容能力；
• EMR StarRocks 集群类型支持安全模式访问，提升库表权限管理能力。

• 流式集成管理
• 独享资源组管理
• EMR 集群绑定

4

数据安全

数据安全新增支持 EMR StarRocks 集群下库表的权限申请、授权管理等操作。

• 权限申请
• 授权管理
• 权限设置

5

数据地图

• 支持 EMR Doris 血缘
• 支持 Elasticsearch元数据采集
• 支持 EMR StarRocks 安全模式

• 血缘图谱
• 元数据采集
• 管理 EMR StarRocks 库
• 管理 EMR StarRocks 表

1

数据开发

• Shell/Python 任务支持引用资源
• 资源库新增通用资源类型，支持 Shell/Python 任务引用。

• Shell、Python
• 资源库

2

数据集成

• 实时分库分表、实时整库解决方案，支持 DDL 策略配置。
• 离线整库同步解决方案，支持批量添加库名/表名映射规则、手动编辑字段名、字段类型信息。
• TOS 数据源支持流式写入。
• 新增 TDengine 数据源，支持 TDengine 批式读、流式读能力。
• ByteHouse CDW 支持可视化读，并支持写入非分区表。
• 单通道流式能力新增支持流式写入 MySQL、Oracle、PostgreSQL、SQLServer。

• 实时分库分表解决方案
• 实时整库同步解决方案
• 离线整库同步解决方案
• 配置 TOS 数据源
• 配置 TDengine 数据源
• 配置 ByteHouse CDW 数据源
• 配置 MySQL 数据源、配置 Oracle 数据源、配置 PostgreSQL 数据源、配置 SQLServer 数据源

1

数据开发

• 数据开发新增支持流式计算 Flink 引擎下，离线 Flink Batch SQL 任务。
• Notebook 数据开发、临时查询任务，支持 Python Spark on EMR 的 Kernel 类型。

• Flink Batch SQL
• Notebook 任务、临时查询、Python Spark on EMR 实践。

2

数据集成

• 新增实时分库分表解决方案，支持 MySQL、PostgreSQL、SQLServer 数据源读取。
• ByteHouse CDW 支持 DSL 模式读和可视化模式写。
• 整库实时解决方案新增支持 MongoDB 数据源读取。

• 实时分库分表解决方案
• ByteHouse CDW 任务配置
• 实时整库同步解决方案

1

数据开发

• 数据开发界面支持任务批量删除操作；
• EME SQL、EMR StarRocks 任务支持自动解析任务产出登记、依赖推荐；
• 任务调度配置支持优先级保障、任务调度支持独享调度资源组配置；
• 离线/流式运维监控报警新增值班计划为接收人，自定义值班表；
• 流式计算 Flink 版引擎中，Serverless Flink SQL、Serverless Java Flink 任务支持重启模式选择，新增 Flink-1.16 执行引擎版本；
• DataLeap 流式计算 Flink 版、EMR 引擎流式任务，Flink 运行参数支持子类查看模式；
• 发布中心支持同 Region 跨项目任务同步，及发布包导出功能；
• LAS Flink SQL、LAS Java Flink 任务能力下线

• 数据开发界面功能指引
• EMR SQL、EMR StarRocks
• 调度配置
• 监控规则、基线管理、流式报警监控
• Serverless Flink SQL、Serverless Java Flink
• EMR Flink SQL、EMR Java Flink
• 发布包管理、同步管理

2

值班管理

新增值班管理模块，可自定义值班表，对接运维中心、数据质量等模块支持值班计划为报警接收人。

值班管理

2

控制台

• 子用户拥有 DataLeapFullAccess 权限时，可支持开通 DataLeap 服务；
• 单项目支持绑定多个 EMR 集群，单个 EMR 集群支持被多个项目同时绑定；
• EMR 集群支持安全模式接入；
• 新增独享调度资源组；
• 项目管理增加离线降级管理、同步设置功能

• 账号准备工作
• 创建项目
• 资源组管理
• 引擎管理
• 复查配置
• 离线降级管理
• 同步设置

3

数据质量

• 支持飞书、电话报警，报警接收支持值班计划
• 数据监控、探查、对比时，EMR 集群支持安全模式鉴权
• 新增定时对比功能

• 离线数据监控
• 数据探查
• 数据对比

4

数据安全

支持EMR数据源

• 权限申请
• 授权管理
• 权限设置
• 权限审计

5

数据地图

• EMR Hive表支持设置TTL
• EMR Hive接入EMR安全模式
• LAS、EMR Hive表详情页增加显示浏览次数、最新分区时间等
• 增加EMR StarRocks库表管理功能
• 增加质量信息功能

• 数据检索
• 元数据采集
• 我的库表

6

数据服务

全新改版

全部文档：数据服务

1

服务部署

华东地区 LAS、流式计算 Flink 版引擎部署：

• 数据开发新增支持 Serverless Flink 流式任务、LAS 离线任务及其余 LAS 相关功能。
• 数据地图对接支持 LAS 服务能力。
• 数据质量对接支持 LAS 服务能力。
• 数据安全对接支持 LAS 服务能力。

• 流式计算 Flink
• LAS 任务
• 数据地图
• 数据质量
• 数据安全

2

数据开发

• Serverless Flink SQL 新增数据源登记支持自动解析、DAG任务血缘查看；任务名称支持流水线管理检查；
• EMR 流式任务新增数据源登记类型；
• 数据开发支持 EMR Doris、EMR StarRocks 元数据表查看及智能联想等；
• 实时任务运维对接云监控，可跳转云监控平台查看任务监控指标。

• Serverless Flink SQL
• EMR Flink SQL、EMR Java Flink
• 元数据
• 实时任务运维

3

数据集成

数据集成新增支持整库同步能力：

• 离线整库同步解决方案
• 实时整库同步解决方案

• 离线整库同步解决方案
• 实时整库同步解决方案

4

数据质量

新增质量订阅功能

• 质量订阅
• 创建自定义规则
• 配置模板规则

5

数据地图

• LAS/LAS Hive支持TTL （仅上线华北）
• 支持EMR Doris库表管理（新建、编辑、删除）
• 界面结构调整

• 数据检索
• 我的库表
• 管理中心
• 数据专题

6

数据安全

主要更新如下：

• 新增资源包功能
• 支持自定义角色组，并支持应用在权限负责人、代办等功能
• 我的权限-支持替他人申请
• 历史权限-支持批量重新申请
• 主动授权审计-支持查看授权类型
• 代办设置-支持按角色设置代办
• 在途工单审批人实时更新

• 概述
• 权限申请
• 授权管理
• 权限设置
• 权限审计
• 审批中心

1

华南 DataLeap 服务部署

数据开发、数据集成、数据安全、数据质量、数据地图、数据服务新增华南地区：

• 数据开发支持 EMR 引擎任务类型、通用任务、流式计算 Flink 版任务类型；
• 数据集成新增支持离线集成、流式集成任务；
• 数据质量支持 EMR 引擎的数据监控、数据探查、数据对比等能力；
• 数据地图支持数据检索、专题、血缘、元数据采集等能力
• 数据服务支持创建数据集、QUERY，并支持 API 监控运维、应用管理、系统管理等全量功能。

• 数据开发
• 离线集成
• 流式集成
• 数据监控
• 数据探查
• 数据对比
• 数据地图
• 数据服务

2

数据开发

• 临时查询支持交互式分析 Notebook 查询类型。
• LAS SQL 依赖推荐功能支持引导创建 Sensor 任务。

• 临时查询
• 调度设置

1

数据开发

• 新增 EMR Doris、EMR StarRocks 任务类型；
• Shell\Python\Notebook 任务支持 0.25、0.5 CU 资源规格配置。

• EMR Doris
• EMR StarRocks
• Shell
• Python
• Notebook

2

数据地图

EMR Hive、LAS 元数据采集新增支持单库表形式进行采集。

• 元数据采集

3

数据安全

• 数据库表资源支持永久有效期申请；
• 数据权限工单审批完成、已被撤销或已关闭后，可重新发起数据安全申请；
• 新增数据库表资源的历史权限申请查看；
• 权限设置新增操作历史记录查询、按资源设置自动审批、审批流支持触发节点、行限制支持批量上传/下载枚举值、密级升高时可选择是否回收权限、配置申请问答等功能。

• 权限申请
• 权限设置

4

数据治理

新增 DataLeap 数据治理模块，贴合业务实践的一站式数据治理产品解决方案。
从治理大盘、健康分评估、规划诊断、SLA保障、资源优化、告警归因、质量安全等多方位打通数据治理全链路。同时数据治理体系是自上而下贯穿整个组织架构的完整链条，帮助企业通过持续的数据评估、指导和监督，确保富有成效且高效的数据利用，促进多部门协作和决策，持续为实际业务创造价值。

• 工作台
• 治理全景
• 规划诊断
• SLA 保障
• 资源优化
• 复盘管理

1

数据开发

• EMR Spark 任务类型支持 python 语言方式输出。
• Shell\Python 任务支持使用独享资源组私有镜像能力。
• 临时查询支持 EMR StarRocks SQL 查询任务类型。
• 流式任务监控，支持 Webhook 报警方式。
• 实时运维概览，新增任务监控大盘和资源使用分析。
• EMR Flink SQL、LAS FlinkSQL、Serverless Flink SQL 任务新增支持添加任务输入参数

• EMR Spark
• Shell
• Python
• 临时查询
• 流式报警监控
• 实时运维概览
• EMR Flink SQL
• Serverless Flink SQL

2

数据集成

数据集成新增以下通道：

• Hive->Doris
• LAS->ES
• PostgreSQL->Hive
• Mongo->Hive
• MySQL->EMR StarRocks
• PostgreSQL->Doris

• 离线集成
• PostgreSQL 任务配置
• Mongo 任务配置
• ……

3

控制台

• 独享计算资源组支持私有镜像仓库绑定。
• 创建项目支持绑定 EMR StarRocks 集群类型。
• 参数设置支持查看批式/流式关联任务。

• 资源组管理
• 项目管理
• 参数信息设置

1

华东2 DataLeap 服务部署

数据质量、数据安全、数据集成新增华东地区：

• 数据质量支持 EMR 引擎的数据监控、数据探查、数据对比等能力；
• 数据集成新增支持离线集成、流式集成任务。

• 数据监控
• 数据探查
• 数据对比
• 离线集成
• 流式集成
• ...

2

数据地图

• 新增 EMR Hive、LAS 元数据采集产品化接入能力；
• LAS 建表类型更改为：内表和 Managed Hive 。

• 元数据采集
• 库表管理

3

数据安全

界面功能调整，新增合并工单、UI优化、权限设置功能迭代等。

• 概述
• 权限申请
• 权限审批
• 权限设置
• 授权管理
• 权限审计
• 用户组管理

1

数据地图

• 支持接入EMR StarRocks
• 支持LAS引擎创建普通hive表
• 新增使用查询优化功能的协议配置功能

• 数据检索
• 数据专题
• 元数据采集
• 血缘图谱
• Table管理
• 协议配置

1

华东2(上海) DataLeap 服务部署

数据开发、数据地图模块新增华东地区：

• 支持 EMR HSQL、Shell、Python 任务，其余任务类型后续敬请期待；
• 支持临时查询、任务模板、元数据、资源/函数库、任务发布、运维中心等能力；
• 数据地图支持 EMR Hive 元数据检索、采集、血缘图谱等能力。
• 公共调度资源组、公共计算资源组、独享计算资源组新增华东地区。

• EMR HSQL
• Shell
• Python
• 数据开发概述
• 数据地图概述
• 资源组计费说明
• ...

1

数据开发

• 数据开发 > 临时查询功能，新增 EMR Doris SQL 查询类型。

• 临时查询

2

数据地图

• LAS、EMR Hive 新增 DB 库详情页说明。

• 数据检索
• DB 管理

1

数据开发

• EMR MapReduce 任务类型，基于 EMR 引擎提供 MapReduce 任务

• EMR MapReduce

2

数据集成

• 新增 PostgreSQL、Mongo 数据源
• 新增 PostgreSQL_Hive、Las_PostgreSQL、Mongo_Hive 通道任务

• 配置 PostgreSQL 数据源
• 配置 Mongo 数据源

3

数据地图

• 元数据采集：新增 EMR Doris 元数据采集，并对 ByteHouse CDW 元数据采集进行标准化改造。
• 数据检索：支持字段探查，LAS 表编辑时不允许字段名和历史重复，支持检索新增的数据类型 EMR Doris。
• 数据专题：支持 EMR Doris 和 ByteHouse CDW 数据。

• 元数据采集
• 数据检索
• 数据专题

1

数据开发

• LAS SQL 任务，支持 Auto 执行引擎，加速 SQL 任务执行。

• LAS SQL 任务

2

智能市场

• 新增模拟建表体验，进行建表规范预检查。

• 数仓建表规范

1

数据地图

• 新增复制建表功能；优化收藏表功能；LAS表支持展示敏感列。
• 新建/编辑LAS库时，支持选择多个负责人。

• 数据检索
• DB管理

1

DataLeap 对接 EMR 1.3.1 以后的版本

DataLeap 新增支持绑定 EMR 1.3.1 以后集群版本（EMR 2.0.1、2.1.0、3.0.1、3.1.0）

新建项目

2

批式计算 Spark 新增上传资源类型。

批式计算 Spark 资源，创建 File 资源文件类型时，支持以下几种类型：.py .tar .tar .gz .txt .csv .xlsx .json .conf .yaml。

资源库

3

数据集成

支持 Redis_to_las 可视化通道配置。

配置 Redis 数据源

4

消息通知

运维中心任务运维新增消息通知功能，支持一键发送消息给任务责任人或项目管理员。

任务运维

5

智能市场

新增建表规范， 对数仓场景下的建表流程进行约束，提升开发效率。

数仓建表规范

6

流水线管理

控制台新增流水线管理，支持提交任务时进行事前检查。

流水线管理

7

数据地图

• 增加显示所有支持的血缘数据源选项；
• 支持 LAS、EMR 表的建表规范检查。

• 血缘图谱
• Table管理

8

指标平台

由公测转GA，支持指标服务

• 指标平台
• 概览