You need to enable JavaScript to run this app.
湖仓一体分析服务 LAS 私有化

湖仓一体分析服务 LAS 私有化

复制全文
Kafka
快速开始
复制全文
快速开始

本文介绍如何在火山引擎 LAS 平台上,快速开始您的 Kafka 探索之旅。
请参考下面的步骤,在 LAS 平台中创建一个 Kafka 的集群类型,并开始尝试 Kafka 的各项功能吧。

创建一个 Kafka 集群

您可以方便地在 LAS 的管理控制台中创建一个 Kafka 集群。具体操作步骤如下:

  1. 登录 LAS 控制台。
  2. 在左侧导航栏中,于集群管理 > 集群列表界面,单击“创建集群”按钮,进入集群创建页面。
  3. 在创建集群页面,根据需要填写好集群创建选项,确认无误后,单击“立即创建”,提交创建集群。详见创建集群

等待集群状态变更为运行中,表明集群创建成功。此时,您就可以开始尝试 LAS 平台 Kafka 集群类型的各项功能了。

Kafka 节点部署说明

在 Kafka 集群中,Kafka Broker 部署在集群的 Master/Core 节点中,而 ZooKeeper 共三个节点,部署在集群的 Master 和 2 个 Core 节点中。在集群初始化的过程中,Kafka 集群的各个服务便会依次启动。您可通过以下路径查看 Kafka Broker 部署情况:

  • 集群列表 > Kafka 集群名称 > 服务列表 > Kafka 服务名称 > 部署拓扑

登录 Kafka Broker 节点

登录到 Kafka Broker 节点中,并执行常用命令。Kafka 集群创建成功且正常运行后,便可使用 Kafka 的各项功能了。
下文介绍一种快速使用、验证 Kafka 功能的方式:通过命令行模式生产消息,并消费生产出来的消息,查看 Kafka 的运行日志。
具体操作步骤如下:

  1. 登录 LAS 控制台。
  2. 单击集群列表 > Kafka 集群名称 > 节点管理,进入节点组列表界面。
  3. 您可任意展开选择 CoreGroup 的一个节点,选择某一个节点 IP,通过 SSH 终端的方式登录机器。
  4. 在 Kafka 集群的某台 Core 节点 的命令行终端中,切换当前工作目录到 Kafka 程序的主目录:
cd /usr/lib/emr/current/kafka
  1. 可以尝试执行各种 Kafka 常用命令。
  2. 命令执行完成后,您可以查看 Kafka 的运行日志。Kafka 是分布式系统,在各个节点中都有对应的运行日志。Kafka 运行日志所在的目录是:/var/log/emr/kafka。可以进入各个节点的上述目录查看 Kafka 的运行日志。

完成上述步骤后,您已经成功尝试完成了 Kafka 集群的试用以及运行日志的查看。接下来可以更深入地探索并使用 Kafka 了。

使用 Kafka Manager (CMAK)

您可以通过 Kafka Manager (CMAK) 的 Web UI 来管理 Kafka 集群。在通过 IP 访问 Kafka Manager 之前,需要先确认以下事项:

  • Kafka 集群的 Master 节点以及 19001 端口在浏览器所在网络中可以访问。
  • 在 Kafka 集群 Master 节点的安全组规则配置中,已经向待访问 Kafka Manager 的机器(比如办公机)开放了 19001 端口的访问。您可以在 Kafka 集群详情页的“访问链接”页签中,单击右上角“配置服务端口”按钮,从而快捷添加入方向访问规则。

进入 Kafka Manager 的操作步骤如下:

  1. 集群列表页中,点击集群名称,进入 Kafka 集群详情页。
  2. 在集群详情页,点击访问链接页签,进入服务链接界面。
  3. 点击 Kafka Manager 的访问链接,进入 Kafka Manager 的登录界面。
  4. 输入您在 LAS 控制台 集群详情 > 用户管理 页面,获取用户名和密码信息,来登录 Kafka Manager。

由于 Kafka Manager 可能不支持一些高版本的 Kafka,在 Kafka Manager 配置集群信息的时候,选择 Kafka 版本时,可以选择与集群中 Kafka 实际版本最接近的版本。

进一步使用 Kafka

尝试过 Kafka 的基本使用后,您可以进一步探索 Kafka。您可以参考 LAS 帮助文档中 Kafka 相关的更多文档,也可以参考 Kafka 的官方网站学习更多的使用方法:https://kafka.apache.org/

最近更新时间:2025.04.01 20:13:41
这个页面对您有帮助吗?
有用
有用
无用
无用