功能发布记录（2024年）

1

数据集成

• 独享集成资源组创建优化，当 TOS 存储桶已开通服务后，创建独享集成资源组时可自动创建 TOS 存储桶。
• 数据集成离线任务，支持任务实例读写云监控指标查看。
• 流式集成任务支持引擎镜像版本管理。
• 离线任务、流式任务字段映射支持以数据转换模式进行配置。
• 数据源优化：
  • BMQ 数据源类型新增支持跨账号形式访问；
  • 火山引擎 E-MapReduce （EMR）中的 StarRocks、Doris、Hive、HDFS 数据源类型支持安全模式对接；
  • MaxCompute 数据源类型支持可视化写入；
  • Hive 数据源类型支持 Timestamp 字段类型；
  • StarRocks 3.X 数据源类型版本支持 Binary 字段类型；
  • ByteHouse CDW 数据源优化网络配置，支持通过内网形式访问。
• 离线整库解决方案在目标配置时，支持源端表与目标表刷新配置，可自定义整库同步时单次拉取表的数量。
• 实时整库、离线整库、分库分表解决方案中的离线任务配置调度时，新增支持选择独享调度资源组；ByteHouse CE、Elasticsearch、全托管 StarRocks 目标表支持解决方案自动创建目标表结构。
• 实时采集方案新增支持 EMR Hive 为目标端。
• 数据集成任务支持分钟级别调度粒度，Kafka 数据源支持 DSL 方式配置流式读、离线读形式。
• 新增 Hudi 数据源配置，支持离线读取 Hudi 数据库。

独享集成资源组管理
实例运维
全域集成引擎版本升级管理
离线数据同步、流式数据同步
配置 BMQ 数据源
离线整库同步
实时整库同步
实时分库分表
实时数据采集方案
配置 Kafka 数据源

1

数据开发

• 新增支持基于全托管 EMR Serverless StarRocks 引擎下的数据开发任务和临时查询；
• 临时查询执行和数据开发任务调试支持选择是否开启任务成功\失败时的消息通知；
• 资源库支持EMR和通用（Shell/Python）引擎的资源类型进行跨引擎复制、华北地域资源来源新增制品仓库（SCM）形式；
• 调度时间变量参数支持分钟及自定义格式类型。

• EMR Serverless StarRocks
• 临时查询
• 资源库
• 平台时间变量与常量说明

2

数据安全

• EMR StarRocks/Hive 库表类型，支持用户组形式的申请、授权操作；
• 数据安全支持 ByteHouse CE 数据库表的权限申请管理操作。

• 概述
• 申请权限
• 权限设置

3

数据地图

• 支持 ByteHouse CE 数据库表的管理、数据预览、字段血缘、元数据采集等资产管理能力；
• 支持 ByteHouse CDW 数据库表的管理能力、详情页展示表查询次数统计；
• 支持全托管 EMR Serverless StarRocks 数据表的管理、数据检索、元数据采集等能力；
• EMR/LAS 引擎新增支持字段自定义标签能力；
• EMR 数据资产显示集群名，可快速识别多集群下的 EMR 资源归属来源；
• EMR StarRocks 数据表详情页支持展示逻辑表大小；
• LAS 表详情页支持展示存储格式和存储路径。

• 数据检索
• 管理 ByteHouse CE 库、管理 ByteHouse CE 表
• 管理 ByteHouse CDW 库、管理 ByteHouse CDW 表
• 管理 EMR Serverless StarRocks 库、管理 EMR StarRocks 表
• Table 管理
• 管理 EMR StarRocks 表
• 管理 LAS 表

4

控制台

• 新增支持 EMR Serverless StarRocks 引擎实例绑定，区分 EMR StarRocks 引擎。

• 引擎管理
• 绑定 EMR Serverless 实例
• 创建项目

1

数据集成

• Mongo 数据源支持离线分库分表方式读取；
• 新增 OSS 数据源离线方式读取数据配置；
• RocketMQ、ByteHouse CE/CDW 数据源支持连接串方式进行数据源配置；
• ByteHouse CE 数据源写入时，支持配置部分列进行数据更新；
• ByteHouse CE/CDW、ClickHouse 数据源批式读支持 Array 类型；
• 实时整库同步、实时分库分表解决方案中，支持 MySQL2ByteHouse CDW 通道配置 DDL 策略、新增 Mongo 数据源实时分库分表解决方案通道；
• 实时数据采集方案新增支持 DataSail（内置 Topic）、Kafka、BMQ 读取，Kafka、BMQ 写入，目标表支持按源表名分流到不同的 Topic 中；
• 独享集成资源组支持查看资源组中具体运行任务数与排队任务数信息；
• 优化 DataSail 数据集成任务批式、流式集成日志的查询与下载。

• 配置 Mongo 数据源
• 配置 OSS 数据源
• 配置 RocketMQ、ByteHouse CE、ByteHouse CDW 数据源
• 配置 ClickHouse 数据源
• 实时整库同步解决方案
• 实时分库分表解决方案
• 实时数据采集解决方案
• 独享资源组管理
• DataSail 日志查看和诊断

1

数据集成

• Redis 新增支持可视化离线读取；
• PostgreSQL 支持 geometry 字段类型读取；
• StarRocks、Doris 写入权限优化，支持非 Admin 账号写入；
• 实时整库同步、实时分库分表解决方案新增支持 VeDB 数据源、ByteHouse CDW 数据源支持自动建表；
• 数据集成任务日志查看优化，支持自动打印，筛选检索优化，支持 Job Manager、Task Manager类型查看。

• 配置 Redis 数据源
• 配置 PostgreSQL 数据源
• 配置 Doris 数据源、配置 StarRocks 数据源
• 实时整库同步解决方案
• 实时分库分表解决方案

2

数据开发

• 数据开发任务类型新增工作流任务类型，支持在工作流任务中添加多种引擎下的任务类型；
• ByteHouse CE SQL 任务支持依赖解析与产出登记能力；
• 任务运维监控告警规则，支持飞书群、飞书、Webhook（钉钉与飞书群 Webhook 地址）。

• 工作流
• ByteHouse CE SQL、临时查询
• 离线监控规则、流式监控规则

3

数据安全

支持 ByteHouse CDW 数据源。

• 概述
• 权限申请
• 授权管理
• 权限配置

4

数据地图

• 支持数据类型 BMQ、RocketMQ、ByteHouse CE
• 增加安全标签设置

• 数据检索
• 元数据采集
• 管理 EMR Hive 表
• 管理 LAS 表

1

数据集成

• ByteHouse CE 新增支持可视化流式写入；
• Doris、StarRocks数据源对接 Doris 2.X、StarRocks 3.X 版本，支持 EMR 全托管 Doris、StarRocks 集群实例。
• 数据源支持开发成员角色进行查看；
• 独享数据集成资源组支持缩容；
• 实时整库同步、实时分库分表解决方案支持读取 Oracle 数据源、写入 ByteHouse CE 数据源；
• 离线整库同步解决方案 PostgreSQL2Hive 通道支持 DDL 策略配置。

• 配置 ByteHouse CE 数据源
• 配置 Doris 数据源
• 配置 StarRocks 数据源
• 配置数据源
• 独享资源组管理
• 实时整库同步解决方案
• 实时分库分表解决方案
• 离线整库同步解决方案