数据目录

新增数据目录功能

支持 Paimon 类型 Catalog

新增 Beta

作业开发

文件管理功能

文件管理大幅优化，为客户提供更好的管理能力

1. 支持私有文件类型，支持更加严格的权限管理能力
2. 支持多版本管理，可以更新文件、查看历史版本、回滚历史版本等能力
3. 支持引用管理，查看所有引用文件的任务

新增

临时查询功能

支持临时查询能力，方便用户

1. 支持选择 Session 集群运行临时查询任务，当前支持 DQL 和部分 DDL 类型 SQL。
2. 支持格式化、运行、保存查询脚本，方便代码复用。

新增 Beta

作业开发管理

1. 支持界面化管理状态 TTL、状态后端（默认 rocksdb）等能力
2. 支持选择依赖文件中指定文件版本，或者固定历史版本

优化

Flink 引擎

Flink CDC 版本迭代

Flink CDC 3.4 版本全量发布，客户可以选择 Flink CDC 版本进行架构升级

升级

文件系统

以 Proton 作为默认的 TOS 文件系统访问，支持高性能的 TOS 读写访问。

升级

作业运维

支持作业优先级

Flink 任务支持标记优先级：

1. 支持高优、普通、测试任务，支持不重启实时标注任务等级，更好的管理任务。

优化

任务智能诊断

任务全新发布智能诊断功能，支持包括重启检测、处理分析、配置分析、资源使用分析等，帮助用户快速定位问题。

新增 Beta

告警优化

云监控告警会附加 Flink 项目信息，避免不同项目同名任务对告警进行干扰。

优化

资源池

混合弹性资源池

除按量、包月两种资源池之外，Flink 产品支持混合弹性资源池，更好的提供计算服务：

1. 固定部分：按照包年包月方式付费，用于常驻计算资源
2. 弹性部分：按照按量方式付费，用于临时和突发计算资源

新增

DNS 优化

DNS 输入优化，支持批量输入。

优化

DNS 支持私网解析

Flink 支持火山引擎私网解析（PrivateZone），支持以下场景：

• 把域名解析为 VPC 内的 IP 地址或公网 IP 地址
• 在 VPC 与自建 IDC/第三方云服务之间转发 DNS 查询请求

新增

项目概览

全新 UI 风格优化

产品导航栏优化，支持更好的视觉效果和交互体验

优化

项目概览优化

支持按量资源池和包月资源池分别展示已使用资源量

优化

数据目录

新增数据目录功能

支持可视化管理数据库、表等元数据功能，Flink 开发、元数据管理更加便利。

1. 支持 EMR-Hive、LAS-Hive 等 Catalog 对接
2. 支持数据库表元数据同步功能
3. 支持 Flink 任务免建表语句写入功能

新增 Beta

作业开发

变量管理优化

变量管理大幅优化，为客户提供更好的管理能力

1. 支持变量值编辑功能
2. 支持加密变量，更安全管理密钥等敏感信息
3. 支持 Flink-CDC、JAR、PyFlink 、自定义参数中引用变量值

新增

支持深度检查

深度检查持续优化

1. 可以支持 CDC 任务深度检查
2. 支持诊断 SQL 任务中的不确定性引发乱序的问题
3. 为 SQL 提供性能建议

新增

Flink 引擎

Flink CDC 版本迭代

支持 Flink CDC 3.4+ 兼容版本，可以支持更加丰富的数据下游

升级

Flink CDC 支持 BH 自动建表

Flink CDC 同步 ByteHouse CDW 表，可以支持根据上游数据表 DDL 事件自动建表。

优化

ByteHouse CE/CDW Connector 升级

ByteHouse CE/CDW connector 升级，
1.16 升级到 1.27.131-1.16
1.17 升级到 1.27.131-1.17

升级

作业运维

运行事件增加等级

运行事件增加了 INFO / WARN / ERROR 等级，方便用户根据事件等级进行查看和过滤。

优化

资源池

DNS 输入优化

DNS 输入优化，避免多次连续输入中的遗漏问题。

优化

作业开发

JAR 任务支持 KV 模式

JAR 任务支持 KV 模式，更好的支持多行、复杂参数的输入。

新增

网络连通性测试优化

支持直接选择 Session 集群，而不需首先选择版本。

优化

支持深度检查

支持 SQL 深度检查一期能力，包含语法语义检查。

1. 支持测试 Connector 连通性、权限校验、语法语义正确性
2. 支持定位快速检验中无法连通上下游而无法发现的语法错误

新增

Flink 引擎

内置支持 HNS 桶

Flink 1.17 及以上版本内置支持 HNS 分层桶

新增

支持 JSON 解析优化

支持 JSON 解析过程中对象复用，可以大幅提升 JSON 解析性能。

新增

Paimon 作业稳定性提升

Flink 1.17 及以上版本默认关闭 multiple-input 优化，避免 Paimon 多流 Join 过程中导致 Checkpoint 失败

优化

配置模板

支持复制模板

支持复制模板，对于配置参数特别多的模板可以支持一键复制，避免重复填写。

新增

优化模板展示样式

对于大量依赖文件的配置模板进行样式优化，便于管理

优化

资源池

支持 PLGW 网络优化

可以大幅减少客户使用 IP 资源用量，从原来每个 POD 使用 1 个 IP，优化为整体资源池使用 1 个 IP。

邀测功能

作业开发

网络连通性测试

支持 Session 集群测试资源池、数据源与 Flink 引擎的网络连通性，方便作业开发和问题排查。

新增

Flink CDC 变量引用

Flink CDC 支持引用环境变量或项目变量，实现配置动态化。

新增

作业运维

0.5 CU 容器稳定性优化

优化小规格容器运行逻辑，减少内存风险，提升长周期任务稳定性。

稳定性

数据入湖与性能指标增强

新增数据入湖延迟、任务吞吐量等监控指标，优化告警策略，提升运维效率。

新增

日志相对时间选择

日志模块支持相对时间（如近15分钟）及时间段筛选，便于快速定位问题。

优化

连接器

内置 LAS Catalog 支持

无需上传自定义 Connector，内置 LAS Catalog，简化元数据连接流程。

新增

资源池

IAM 标签下拉筛选

创建资源池时支持下拉筛选已有 IAM 标签，提升标签管理效率。

优化

配置模板

默认模板设置

支持将常用配置设为默认模板，新建任务时自动加载，减少重复选择。

新增

作业开发

变量管理

新版作业开发支持变量管理、配置模板、连接器管理等模块，更加便利支持

新增

网络参数

产品内置开启网络参数，跨 VPC 和外网访问的时候不需要增加额外自定义参数。

新增

Session 调试

支持 Session 调试选择 Flink 1.17 的集群版本。

新增

作业类型

作业开发支持 pyflink 作业开发（仅支持 1.17 之后的 Flink 版本）

新增

Flink Connector

Flink CDC

1. Flink MongoDB CDC 数据源支持忽略 delete 事件。
2. Flink CDC 支持 Paimon 0.8.2 字节加强版。
3. Flink CDC 支持 Paimon-LAS 数据下游。

优化

ByteHouse Connector

升级 ByteHouse 企业版/云数仓版内置的 Connector 版本到 1.27.109_patch5-1.16 最新稳定版本

优化

官网对接

项目筛选

支持产品顶导的项目筛选空间

新增

项目管理

支持在项目管理中按照标签等维度管理 Flink 产品相关资源

新增

项目分账

支持按照项目、标签维度进行分账等操作。

新增

Flink 版本

Flink 1.17

Flink 1.17 引擎版本持续优化，支持 Session 调试功能，并且支持存储过程语法、内置提供 Paimon 0.8.2 字节加强版本等。

Beta 发布

资源池管理

DNS 设置

支持在资源池界面化设置 DNS 信息，以满足私有域名访问的需求。

新增

作业运维

作业重启

除了作业停止、启动等基础功能，另外支持作业一键重启的功能，降低作业运维的操作复杂度

新增

文件管理

文件上传

使用文件分块上传，大幅提升 100MB 以上大文件上传的效率和产品稳定性。

新增

作业开发

新版作业开发功能，全新 UI 和交付风格，当前版本全量支持 SQL、JAVA、CDC 多种任务开发能力。

Beta 发布

作业运维

作业运维全新启动过程中支持 BMQ/Kafka 数据源按照时间位点进行启动。

新增

日志归档

Flink 作业支持将运行时日志按照日志级别要求导出到 TLS，做更加丰富的日志分析、告警功能。

新增

Flink Connector

支持 Kafka 跨集群同步方案，支持多云、多 Kafka 集群的数据同步。支持指定 Topic 白名单、通配符等，同时也支持从已有消费者组 Offset 无缝迁移 MirrorMaker 的流量

新增

Flink 版本

Flink 1.17 引擎版本持续优化，支持全量上下游，以及 native 引擎等企业级增强。

邀测发布

Flink CDC

新版作业开发支持全新 Flink CDC 3.x，支持以 YAML 配置的方式进行作业开发，支持整库同步、分库分表同步、Schema 变更同步和数据转换 Transform 等功能。

Beta 发布

作业开发

新版作业开发功能，全新 UI 和交付风格，为开发者带来更好的 Flink 任务开发体验。当前支持 Flink CDC 开发。

Beta 发布

作业锁定

作业开发支持锁定功能，允许开发者多人并发的时候避免同时操作互相覆盖。

新增

文件管理

独立的文件管理模块，能够更加清晰、准确的管理所有 Flink 项目中的依赖文件。

新增

Session 集群

独立的 Session 集群管理模块，更加便利的管理用于调试的 Session 集群。

新增

灵活资源配比

当前作业提交任务的时候，支持灵活的 CPU 和内存资源配比。支持客户可以更精准的控制资源用量。

优化

业务延迟

云监控指标优化，业务延迟指标在 Kafka 维度下支持和 Kafka Lag 指标进行多指标复合，提升业务延迟指标告警的准确性。

优化

作业运维

在进入任务详情退出后，搜索条件不清空。

优化

版本选择

当前提交任务的时候默认会选择当前流式计算 Flink 引擎版本的主力版本。

优化

Paimon Catalog

支持 Paimon Catalog。

新增

任务跳过校验上线

SQL 任务支持跳过 SQL 代码深度校验，允许任务强制上线。

新增

Flink Python 任务

支持开发 Flink Python 类型任务。

新增

任务参数配置

任务配置参数增加提示，增加用户可读性。

优化

调度时长

任务上线时的调度时长参数增加提示，增加用户可读性。
调度时长表示再次调度的时间间隔，即任务拉起不成功会再次重试调度。

优化

任务资源用量

在任务列表页面，显示上线任务的 CPU 和 Memory 使用量，并支持按照升降序排列。

优化

任务日志

任务日志支持全屏化查看、下载到本地查看。

优化

项目融合

Flink 控制台的项目与火山引擎的项目融合，可以对不同业务或项目使用的云资源进行分组管理。

• 基于项目进行 IAM 授权，有利于维护资源独立、数据安全。
• 可从项目维度查看资源消费账单，便于计算云资源使用成本。

优化

新增 Flink Connector

新增 ByteHouse 连接器，包括云数仓版（bytehouse-cdw）和企业版（bytehouse-ce）

新增

支持外部 EMR Hive Catalog

Flink 控制台默认存在 Default Hive Catalog，现在也支持添加外部 EMR Hive Catalog。

新增

区分流批任务配置

根据任务类型自动区分任务配置参数。

优化

前端页面样式优化

优化产品概览页面。

• 提供常用项目便捷入口。
• 提供产品应用场景说明，增加云产品联动性。
• 提供最佳实践、快速入门等常用文档链接。

优化

支持小规格资源配置

配置 Task Manager 和 Job Manager 资源时，支持小规格资源配置，目前最小支持设置为 0.5 cu。

优化

Flink CDC Connector

新增 CDC 连接器，包括 MySQL CDC、MongoDB CDC、Postgres CDC、SQLServer CDC。

新增

支持任务失败自动拉起

任务运行过程中，如果出现异常导致整个任务运行失败，系统将根据配置的任务失败重试拉起策略尝试重新拉起任务。

• 最大重试拉起次数
• 重试拉起时间间隔

新增

资源池支持包年包月计费类型

支持创建包年包月计费类型的通用 VCI 资源池。
包年包月计费方式需要进行预付费，相较于按量计费价格更优惠。

新增

Flink 镜像缓存快照

默认支持 Flink 镜像缓存快照，能够提高容器启动速度。

新增

中心化架构优化

产品中心化架构调整，优化租户服务数量，极大地缩短产品初始化耗时。

优化

监控指标优化

补充 Flink 任务监控指标，更利于了解任务运行情况和排查故障问题。

优化

任务 Checkpoint 支持关闭

任务默认不启用 Checkpoint。
如需手动创建快照用于任务的失败恢复，需要开启 Checkpoint。开启时，可以设置 Checkpoint 间隔、超时时长等参数。

优化

任务重启策略

提供了多种任务重启策略，可根据业务需要选择合适的重启策略。

• 不重启策略
• 固定时间间隔重启策略
• 故障率重启策略
• 聚合故障率重启策略

新增

支持 Flink Batch 类型任务

新增 Flink Batch 类型任务，适配更多业务场景。

新增

元数据概览

提供元数据概览页，可以查看元数据表存储位置、表结构最近更新时间、表结构、分区列等信息。

新增

Flink 访问公网

在特殊场景下，需要 Flink 能访问其他云域公网资源。
在 Flink 参数配置中声明使用外部网络，并配置 SNAT 规则，即可实现公网访问。

新增

Flink 读写 TOS

Flink 提供了对象存储的读写能力。

新增

多引擎版本

支持 Flink V1.11 和 Flink V1.16 两个引擎版本，支持切换任务运行引擎。

新增

数据血缘

在任务开发侧，您可以配置上下游数据源信息，后续可在任务详情中查看数据血缘。

新增

任务版本管理

任务上线到运维侧，系统将会记录任务版本，支持版本对比、回滚历史版本。

新增

项目角色

新增项目普通用户（Project_Member）角色，仅对大部分项目资源有可读权限。

优化

产品初始化

更新产品初始化流程，需要关联 TOS 和 VPC。

更新

服务初始化

项目概览架构优化

• 项目独立，提供唯一的门户入口。
• 项目成员、角色和策略管理内置，以更方便的进行权限细粒度管控。

更新

• 项目管理
• 项目权限管理

IAM用户管理

支持导入 IAM 用户、移除 IAM 用户，导入的 IAM 用户可作为 Flink 项目成员。

新增

用户管理

项目管理

支持项目的创建、编辑、删除。

新增

项目管理

项目访问控制

项目是用于统一管理资源池、任务等资源的项目空间。不同项目相互隔离，相互独立。
主账号拥有其下所有项目及项目资源的权限；项目成员只拥有当前项目的相关权限。
项目内拥有独立的访问管控策略，使用“策略-角色-成员”的策略管控完整链路，保证成员权限最小化，实现项目内权限精细化控制。

新增

• 权限概述
• 成员管理
• 角色管理
• 策略管理

资源池管理

资源池是项目中用来管理计算资源的，资源池中的计算资源相互隔离，相互独立。
提交到资源池中的任务只能使用本资源池中的计算资源。
支持资源池的创建、删除。

新增

资源池管理

产品初始化

使用 Flink 产品前，需要先完成产品初始化，初始化过程需要关联 TOS 和 VPC。

新增

快速入门

工作空间管理

支持工作空间的创建、扩容、删除。

新增

工作空间管理