本文介绍了流式计算 Flink 版每次发布涉及的新增功能、功能优化、重要问题修复,以及对应的文档,以帮助您了解 Flink 的发布动态。
功能名称 | 功能描述 | 功能类型 |
---|---|---|
Paimon Catalog | 支持 Paimon Catalog。 | 新增 |
任务跳过校验上线 | SQL 任务支持跳过 SQL 代码深度校验,允许任务强制上线。 | 新增 |
Flink Python 任务 | 支持开发 Flink Python 类型任务。 | 新增 |
任务参数配置 | 任务配置参数增加提示,增加用户可读性。 | 优化 |
调度时长 | 任务上线时的调度时长参数增加提示,增加用户可读性。 | 优化 |
任务资源用量 | 在任务列表页面,显示上线任务的 CPU 和 Memory 使用量,并支持按照升降序排列。 | 优化 |
任务日志 | 任务日志支持全屏化查看、下载到本地查看。 | 优化 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
项目融合 | Flink 控制台的项目与火山引擎的项目融合,可以对不同业务或项目使用的云资源进行分组管理。
| 优化 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
新增 Flink Connector | 新增 ByteHouse 连接器,包括云数仓版(bytehouse-cdw)和企业版(bytehouse-ce) | 新增 |
支持外部 EMR Hive Catalog | Flink 控制台默认存在 Default Hive Catalog,现在也支持添加外部 EMR Hive Catalog。 | 新增 |
区分流批任务配置 | 根据任务类型自动区分任务配置参数。 | 优化 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
前端页面样式优化 | 优化产品概览页面。
| 优化 |
支持小规格资源配置 | 配置 Task Manager 和 Job Manager 资源时,支持小规格资源配置,目前最小支持设置为 0.5 cu。 | 优化 |
Flink CDC Connector | 新增 CDC 连接器,包括 MySQL CDC、MongoDB CDC、Postgres CDC、SQLServer CDC。 | 新增 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
支持任务失败自动拉起 | 任务运行过程中,如果出现异常导致整个任务运行失败,系统将根据配置的任务失败重试拉起策略尝试重新拉起任务。
| 新增 |
资源池支持包年包月计费类型 | 支持创建包年包月计费类型的通用 VCI 资源池。 | 新增 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
Flink 镜像缓存快照 | 默认支持 Flink 镜像缓存快照,能够提高容器启动速度。 | 新增 |
中心化架构优化 | 产品中心化架构调整,优化租户服务数量,极大地缩短产品初始化耗时。 | 优化 |
监控指标优化 | 补充 Flink 任务监控指标,更利于了解任务运行情况和排查故障问题。 | 优化 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
任务 Checkpoint 支持关闭 | 任务默认不启用 Checkpoint。 | 优化 |
任务重启策略 | 提供了多种任务重启策略,可根据业务需要选择合适的重启策略。
| 新增 |
支持 Flink Batch 类型任务 | 新增 Flink Batch 类型任务,适配更多业务场景。 | 新增 |
元数据概览 | 提供元数据概览页,可以查看元数据表存储位置、表结构最近更新时间、表结构、分区列等信息。 | 新增 |
Flink 访问公网 | 在特殊场景下,需要 Flink 能访问其他云域公网资源。 | 新增 |
Flink 读写 TOS | Flink 提供了对象存储的读写能力。 | 新增 |
功能名称 | 功能描述 | 功能类型 |
---|---|---|
多引擎版本 | 支持 Flink V1.11 和 Flink V1.16 两个引擎版本,支持切换任务运行引擎。 | 新增 |
数据血缘 | 在任务开发侧,您可以配置上下游数据源信息,后续可在任务详情中查看数据血缘。 | 新增 |
任务版本管理 | 任务上线到运维侧,系统将会记录任务版本,支持版本对比、回滚历史版本。 | 新增 |
项目角色 | 新增项目普通用户(Project_Member)角色,仅对大部分项目资源有可读权限。 | 优化 |
功能名称 | 功能描述 | 功能类型 | 相关文档 |
---|---|---|---|
产品初始化 | 更新产品初始化流程,需要关联 TOS 和 VPC。 | 更新 | |
项目概览架构优化 |
| 更新 |
功能名称 | 功能描述 | 功能类型 | 相关文档 |
---|---|---|---|
IAM用户管理 | 支持导入 IAM 用户、移除 IAM 用户,导入的 IAM 用户可作为 Flink 项目成员。 | 新增 | |
项目管理 | 支持项目的创建、编辑、删除。 | 新增 | |
项目访问控制 | 项目是用于统一管理资源池、任务等资源的项目空间。不同项目相互隔离,相互独立。 | 新增 | |
资源池管理 | 资源池是项目中用来管理计算资源的,资源池中的计算资源相互隔离,相互独立。 | 新增 |
功能名称 | 功能描述 | 功能类型 | 相关文档 |
---|---|---|---|
产品初始化 | 使用 Flink 产品前,需要先完成产品初始化,初始化过程需要关联 TOS 和 VPC。 | 新增 | |
工作空间管理 | 支持工作空间的创建、扩容、删除。 | 新增 |