You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
功能发布动态
V2.8.11 功能动态
复制全文
V2.8.11 功能动态

本文为您介绍大数据研发治理套件 DataLeap 产品私有化 V2.8.11 功能版本更新动态。

2025/03/17 V2.8.11

功能模块

功能描述

数据集成

  • 【优化】普通数据集成通道中,MySQL、PostgreSQL、SQL Server 或者 Oracle 源端库表/视图数据写入 LAS/Hive 时,若添加高级参数,可实现源端表的 Varchar 类型长度增加时,自动更新目标表中 Varchar 字段类型的精度,从而避免在数据写入过程中,源端数据因长度过长而被截断的情况;同时当源端表增加字段时,目标端 LAS/Hive 中也会同时增加相同的字段信息。
    当前可支持的源端数据库类型、字段类型包括:(当以下指定范围内的数据库及字段类型发生长度加长时,且目标端的 LAS/Hive 表使用 varchar 字段类型,可自动为 LAS/Hive 表的 varchar 类型的长度自动增加)
    • MySQL:char、varchar
    • Oracle:char、nchar、nvarchar2、varchar、varchar2
    • PostgreSQL:character、char、varchar、character varying、bit varying
    • SQLServer:char、varchar、nchar、nvarchar

    注意

    此高级参数仅能处理上述场景。当发生varchar长度缩短、字段类型变更(例如int转varchar)时无法处理。

    Image
    高级参数:
    • job.writer.table_operations = {"createTable":"IGNORE","addTableColumn":"EXECUTE","renameTable":"IGNORE","truncateTable":"IGNORE","updateTableColumn":"EXECUTE","renameTableColumn":"IGNORE","dropTable":"IGNORE","dropTableColumn":"IGNORE"}
    • job.common.interceptor_name = batch_catalog
  • 【新增】离线任务通道,目标端为 StarRocks 时,通过源端表字段信息,新增支持一键建表和修改数据表操作,提升目标表创建和修改效率。
    Image
  • 【新增】源端读取数据时,在填写数据过滤语句的过程中,支持 where 条件内使用 {{var}} 形式的项目变量参数,从而实现以项目级别进行整体控制。
    Image
    Image
  • 【新增】实时整库同步解决方案新增读取 Dameng 数据源,支持 Dameng2ByteHouse_CE 解决方案通道配置。
    Image

数据开发

  • 【新增】CDH-TBDS集群类型,新增支持 Native Flink Streaming SQL、Native Java Flink 任务类型。
    Image
  • 【新增】智能市场新增智能调试诊断插件,在进行数据开发相关任务调试时,提供时间轴能力,可快速查看任务各阶段的耗时状况。对于失败任务,此插件还具备展示日志诊断归因、提供优化建议等功能,有助于提升对任务日志的解读能力。
    Image
  • 【新增】调度设置中新增高级参数配置入口,支持对任务配置执行时的 CPU、MEN 参数,提升资源分配效率。
    Image

控制台

【优化】引擎类型 CDH 改名为 Apache Hadoop,Hadoop 改名为 MiniBase Hadoop(如下),全面变更。
Image

数据地图

【优化】数据类型 CDHHive 改名为 Apache Hive,Hive 改名为 MiniBase Hive(如下),全面变更。
Image

数据标准

【优化】数据类型 CDHHive 改名为 Apache Hive,Hive 改名为 MiniBase Hive(如下),全面变更。
Image

数据安全

【优化】数据类型 CDHHive 改名为 Apache Hive,Hive 改名为 MiniBase Hive(如下),全面变更。
Image

数据质量

【新增】Apache Hadoop-TBDS集群适配模版规则、自定义规则、数据探查(如下)。

Image

【优化】引擎类型 CDH 改名为 Apache Hadoop,Hadoop 改名为 MiniBase Hadoop(如下),全面变更。

Image

最近更新时间:2025.11.05 19:03:32
这个页面对您有帮助吗?
有用
有用
无用
无用