You need to enable JavaScript to run this app.
导航
流式集群管理
最近更新时间:2023.11.24 17:35:21首次发布时间:2023.11.24 17:35:21

本功能对接 SF(Serverless Flink)引擎,用于创建并管理 session 集群,以供 Flink SQL 任务调试时调用。

1 约束限制

目前开发及以上角色均可配置 session 集群。后续权限会进行收回,届时仅项目管理员具备配置权限。

2 前提条件

  • 已开通 DataOps 敏捷研发湖仓一体分布式数据自治服务。

  • 已购买并配置流式计算 Flink 版引擎服务。

3 操作步骤

  1. 登录 DataLeap 控制台。

  2. 单击左侧导航栏的项目管理,进入项目管理页面。

  3. 勾选我管理的选项,显示由您管理的项目列表。

  4. 单击项目列表中要管理项目操作列的任一按钮,进入项目控制台

  5. 单击左侧导航栏的流式集群,进入流式集群页面。

  6. 可执行以下操作:

    • 新建集群

      单击新建集群按钮,在弹出的新建集群窗口中,设置相关信息后,单击确定按钮完成创建。新创建的集群处于终止状态,需手动启动运行。
      创建 session 集群的相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

      参数说明
      *集群名称Session 集群的名称,自行设定,支持英文、数字或下划钱,长度不超过50个字符。
      描述集群的描述信息,长度不超过200个字符。

      *参数设置

      集群相关资源参数的设置情况,包括 JobManager、TaskManager、自定义参数三部分内容。

      • JobManager

        • *CPU:单个 JobManager 所占用的CPU数量,默认为 1,可按需调整。

        • *MEM:单个 JobManager 所占用的内存大小,默认为 4096,不可编辑,会根据CPU的变化而变化。

      • TaskManager

        • *CPU:单个 TaskManager 所占用的CPU数量,默认为 1,可按需调整。

        • *MEM:单个 TaskManager 所占用的内存大小,默认为 4096,不可编辑,会根据CPU的变化而变化。

        • *Slots:单个 TaskManager 中slot的数量,默认为 1,可按需调整。

        • *最小TM数量:TaskManager 数量最小阈值,默认为 4,可按需调整。

        • *最大TM数量:TaskManager 数量最大阈值,默认为 8,可按需调整。

      • 自定义参数:用户自定义的参数,按需设置,设置方式为 key-value 值组合形式。

      *引擎项目

      要使用的引擎项目,下拉可选已创建的引擎项目。
      创建引擎项目的相关说明请参见流式计算 Flink版的项目管理

      *计算资源

      引擎项目下的计算资源,下拉可选已创建的资源。
      创建计算资源的相关说明请参见流式计算 Flink版的资源池管理
      选择引擎项目后,才可设置该参数。

      *引擎版本支持 Flink-1.11 和 Flink-1.16 两个版本,下拉可选。
    • 启动集群

      单击某条处于终止状态的信息操作列的启动按钮,二次确认后,可以启动该集群。

    • 停止集群

      单击某条处于运行中未就绪状态的信息操作列的停止按钮,二次确认后,可以停止该集群。

      注意

      停止集群会终止当前集群所有正在运行的实例,请谨慎操作!

    • 编辑集群

      单击某条信息操作列的编辑按钮,可以修改该集群的配置信息。

    • 删除集群

      单击某条处于终止状态的信息的 ... > 删除按钮,二次确认后,可以删除该集群。

    • 查看启动日志

      单击某条信息操作列的 ... > 启动日志按钮,可以查看该集群的启动日志,并可按需搜索日志信息。

      说明

      仅执行过启动操作的集群,才能查看日志,否则该按钮不可用。

    • 查看 Flink UI

      单击某条处于运行中状态的信息操作列的 ... > Flink UI 按钮,可以跳转到 Flink 管理页面,查看该集群的相关指标信息。

    • 查看调式的任务信息

      • 单击某条集群信息的展开/折叠图标按钮,可以查看该集群下调试的任务信息。

      • 可单击某个任务的查看任务按钮,跳转到该任务页面查看其详情信息。

4 后续操作

配置 session 集群后,即可到该项目的数据开发页面进行 FlinkSQL 任务调式操作。