数据开发

• 【新增】CDH/Hadoop 引擎下的 Flink SQL/Flink JAR 流式开发任务类型，支持在任务中以 {{var}} 项目参数形式进行编辑。如：
  
• 【新增】发布中心新增发布包导入操作，新增对资源类、引擎映射依据配置的支持，可实现导入任务中的引擎实例ID、队列信息、自定义注册数据源等内容在目标项目中自动替换。
  
  
• 【新增】CDH-TBDS引擎下 HSQL 任务类型，支持将 SQL 运行结果当做输出，并传递给下游任务作为输入参数。
  
• 【优化】数据开发分钟任务的调度设置支持指定小时内，每隔 20 分钟调度执行一次。
  
• 【新增】DataLeap新增支持 Gbase 8a SQL 任务类型，支持对Gbase 8a数据库中的数据进行开发、调试、SQL 语句解析、临时查询、任务依赖推荐等操作，同时在元数据支持查看 Gbase 8a 表字段信息。
  
  
  

运维中心

• 【新增】CDH 引擎下 Flink 流式开发任务重启时，支持选择重启模式，支持选择使用最新状态重启、使用创建的历史快照重启、或无状态直接重启模式，您可根据实际情况进行选择。
  
• 【新增】运维中心监控规则告警，新增支持电话告警方式，提升任务告警的实时触达效率。
  

数据集成

• 【新增】数据集成通道任务新增 LocalFile 数据源读取通道，该通道支持读取通过 NAS 挂载到 Hadoop 节点的数据。
  
• 【新增】达梦数据源通道配置时，可通过手动添加字段方式，来直接读取数据库的原生函数，如 now()、current_timestamp() 等。
  
• 【新增】新增 TiDB 数据源类型：
  • 支持 TiDB 数据源配置
    
  • 实时整库同步解决方案，通过 Kafka 缓存方式读取 TiDB 数据
    
  • 离线通道任务新增 TiDB 数据源读取和写入能力
    
    
• 【新增】MySQL 数据写入 LAS 时，LAS 表字段类型新增支持 Varchar 字段类型。
  
• 【优化】MySQL、PostgreSQL、SQL Server 或者 Oracle 源端数据写入 Hive 时，添加高级参数，可实现目标表中 Varchar 字段类型的精度自动更新，从而避免数据写入时，源端数据因长度过长而被截断的情况。
  

高级参数：
job.writer.table_operations = {"createTable":"IGNORE","addTableColumn":"EXECUTE","renameTable":"IGNORE","truncateTable":"IGNORE","updateTableColumn":"EXECUTE","renameTableColumn":"IGNORE","dropTable":"IGNORE","dropTableColumn":"IGNORE"}
job.common.interceptor_name = batch_catalog

控制台

• 【新增】 GBase 8a 计算引擎，且该类型安全模式下的集群需进行账号映射，涉及功能：
  • 集群管理
    
    
  • 项目管理
    
• 【新增】DWS（GaussDB）元数据采集器支持“JDBC连接串追加参数信息”，以实现更精准的采集，即在集群注册时可以在连接后面多加一些配置参数字段，格式为**?参数信息**，如下：
  

数据地图

• 【新增】GBase8a元数据采集
  
• 【优化】元数据采集器优化：Hive/JDBC类采集器支持“按DB/Schema白名单”过滤采集范围。例如下图中 GaussDB元数据采集新增schema过滤规则。
  其中，GaussDB、Oracle 和 SqlServer 新增schema过滤规则，操作时需注意若您只想保留某几个 schema 的元数据，则应先删除相应的采集器并清空已采集的元数据，再新建配置过滤规则绑定所需 schema 的采集器。
  
• 【优化】Oracle元数据采集优化：Oracle采集器支持“Oracle SID方式”采集，即源连接信息可以配置字段connectionType。
  
• 【新增】CDHHive-3.2.2（EMR Hive 集群类型）支持获取所有分区、最新分区
  
• 【新增】CDHHive-3.2.2（EMR Hive 集群类型）支持进行表级、字段级血缘解析
  
• 【其他优化】文档改版，内容调整，补充涉及强制建模规范等内容，主要包括我的库表、资产管理、管理中心几个功能模块

数据安全

• 【新增】CDHHive-3.2.2（EMR Hive 集群类型）支持权限管理、审批中心、权限审计，如下图：
  
• 【新增】CDHHive-3.2.2（TBDS 集群类型）支持行列权限设置
  
• 【新增】CDHHive-3.2.2（EMR Hive 集群类型）支持分类分级和数据保护安全标签
  
  
• 【新增】CDHHive-3.2.2（EMR Hive 集群类型）支持静态脱敏、数据加解密，如下图：
  
• 【新增】CDHHive-3.2.2（EMR Hive 集群类型）支持动态脱敏，可通过生效数据范围圈定相应数据
  

数据质量

• 【新增】 CDHHive-3.2.2（EMR Hive 集群类型）支持数据探查