本文为您介绍大数据研发治理套件 DataLeap 产品私有化 V2.8.8 功能版本更新动态。
2025/01/03 V2.8.8
功能模块 | 功能描述 |
|---|
数据开发 | - 【新增】数据开发引擎绑定类型为 CDH-3.2.2(TBDS 集群类型)时,新增支持创建 EMR Spark 任务类型,且任务中支持 Java、Python 两种语言类型进行配置。
 - 【新增】数据开发发布中心,发布包导出时,支持将任务中引用的资源、函数等文件一并导出到本地,便于在同步的目标项目中再次上传资源、函数进行使用。
 - 【优化】优化调度日历文件支持按照定时时间设置调度日历,日历模板文件内容变更为三列,分别为 date(定时时间)、schedule_date(业务时间)、schedule,任务执行时配置的 calendar_day 参数默认解析为日历文件中的 schedule_date 值,您也可按需进行 calendar_day 计算。

|
数据集成 | - 【新增】数据集成离线任务数据写入 Oracle、SQLServer 数据源时,新增支持 on duplicate key update 写入方式,即当主键/唯一键索引冲突时,将使用新行数据 update 表中原有的数据。
 - 【新增】数据源配置新增 GBases8a 类型,新增支持离线集成方式读取和写入 GBases8a 数据源通道。

 - 【优化】SQLServer 数据源读取或写入 SQLServer 自定义数据类型时,需先在数据源中配置高级参数,方可成功读取或写入。

 - 【优化】源端为MySQL、Oracle、PostgreSQL、SQLServer,目标端为 Hive、LAS 时,支持一键建表能力,支持将源端中大写的字段转换成小写字段、一键创建分区表且指定为 Parquet 格式,提升目标表创建效率。

|
数据服务 | - 【新增】数据服务配置 HBASE 数据源时,新增支持开启 Kerberos 鉴权认证,支持上传 kerb5、keytab 相关认证文件,提升数据服务 API 访问数据安全性。
 - 【新增】数据服务新增 StarRocks 数据源配置,支持创建 StarRocks 相关逻辑表、物理表、API相关内容。

|
控制台 | 【新增】支持按照定时时间设置调度日历,调度日历模板文件内容变更为三列,分别为 date(定时时间)、schedule_date(业务时间)、schedule。
 |
数据地图 | 【新增】元数据采集支持SOLServer类型。
 |
数据标准 | 【新增】适配TBDS底座,标准映射支持CDHHive类型。
 |
数据质量 | - 【新增】数据对比支持hadoop集群。
 - 【新增】数据监控模板规则(包括Hive模板规则和其他数据源的模板规则配置)的异常值、空值、重复值支持批量输入,如下图所示,并根据内容调整、拆分文档。

|