流式集群管理

本功能对接 SF（Serverless Flink）引擎，用于创建并管理 session 集群，以供 Flink SQL 任务调试时调用。

1 约束限制

目前开发及以上角色均可配置 session 集群。后续权限会进行收回，届时仅项目管理员具备配置权限。

2 前提条件

• 已开通 DataOps 敏捷研发、湖仓一体或分布式数据自治服务。

• 已购买并配置流式计算 Flink 版引擎服务。

3 操作步骤

1. 登录 DataLeap 控制台。

2. 单击左侧导航栏的项目管理，进入项目管理页面。

3. 勾选我管理的选项，显示由您管理的项目列表。

4. 单击项目列表中要管理项目操作列的任一按钮，进入项目控制台。

5. 单击左侧导航栏的流式集群，进入流式集群页面。

   

6. 可执行以下操作：

   • 新建集群

     单击新建集群按钮，在弹出的新建集群窗口中，设置相关信息后，单击确定按钮完成创建。新创建的集群处于终止状态，需手动启动运行。
     创建 session 集群的相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

     参数	说明
     *集群名称	Session 集群的名称，自行设定，支持英文、数字或下划钱，长度不超过50个字符。
     描述	集群的描述信息，长度不超过200个字符。
     *参数设置	集群相关资源参数的设置情况，包括 JobManager、TaskManager、自定义参数三部分内容。 JobManager *CPU：单个 JobManager 所占用的CPU数量，默认为 1，可按需调整。 *MEM：单个 JobManager 所占用的内存大小，默认为 4096，不可编辑，会根据CPU的变化而变化。 TaskManager *CPU：单个 TaskManager 所占用的CPU数量，默认为 1，可按需调整。 *MEM：单个 TaskManager 所占用的内存大小，默认为 4096，不可编辑，会根据CPU的变化而变化。 *Slots：单个 TaskManager 中slot的数量，默认为 1，可按需调整。 *最小TM数量：TaskManager 数量最小阈值，默认为 4，可按需调整。 *最大TM数量：TaskManager 数量最大阈值，默认为 8，可按需调整。 自定义参数：用户自定义的参数，按需设置，设置方式为 key-value 值组合形式。
     *引擎项目	要使用的引擎项目，下拉可选已创建的引擎项目。 创建引擎项目的相关说明请参见流式计算 Flink版的项目管理。
     *计算资源	引擎项目下的计算资源，下拉可选已创建的资源。 创建计算资源的相关说明请参见流式计算 Flink版的资源池管理。 选择引擎项目后，才可设置该参数。
     *引擎版本	支持 Flink-1.11 和 Flink-1.16 两个版本，下拉可选。

   • 启动集群

     单击某条处于终止状态的信息操作列的启动按钮，二次确认后，可以启动该集群。

   • 停止集群

     单击某条处于运行中或未就绪状态的信息操作列的停止按钮，二次确认后，可以停止该集群。

     注意

     停止集群会终止当前集群所有正在运行的实例，请谨慎操作！

   • 编辑集群

     单击某条信息操作列的编辑按钮，可以修改该集群的配置信息。

   • 删除集群

     单击某条处于终止状态的信息的 ... > 删除按钮，二次确认后，可以删除该集群。

   • 查看启动日志

     单击某条信息操作列的 ... > 启动日志按钮，可以查看该集群的启动日志，并可按需搜索日志信息。

     说明

     仅执行过启动操作的集群，才能查看日志，否则该按钮不可用。

   • 查看 Flink UI

     单击某条处于运行中状态的信息操作列的 ... > Flink UI 按钮，可以跳转到 Flink 管理页面，查看该集群的相关指标信息。

   • 查看调式的任务信息

     • 单击某条集群信息的展开/折叠图标按钮，可以查看该集群下调试的任务信息。

     • 可单击某个任务的查看任务按钮，跳转到该任务页面查看其详情信息。

4 后续操作

配置 session 集群后，即可到该项目的数据开发页面进行 FlinkSQL 任务调式操作。