You need to enable JavaScript to run this app.
导航
快速开始
最近更新时间:2025.04.01 20:13:41首次发布时间:2024.11.12 16:54:08
我的收藏
有用
有用
无用
无用

本文介绍如何在火山引擎 LAS 平台上,快速开始您的 Kafka 探索之旅。
请参考下面的步骤,在 LAS 平台中创建一个 Kafka 的集群类型,并开始尝试 Kafka 的各项功能吧。

创建一个 Kafka 集群

您可以方便地在 LAS 的管理控制台中创建一个 Kafka 集群。具体操作步骤如下:

  1. 登录 LAS 控制台。
  2. 在左侧导航栏中,于集群管理 > 集群列表界面,单击“创建集群”按钮,进入集群创建页面。
  3. 在创建集群页面,根据需要填写好集群创建选项,确认无误后,单击“立即创建”,提交创建集群。详见创建集群

等待集群状态变更为运行中,表明集群创建成功。此时,您就可以开始尝试 LAS 平台 Kafka 集群类型的各项功能了。

Kafka 节点部署说明

在 Kafka 集群中,Kafka Broker 部署在集群的 Master/Core 节点中,而 ZooKeeper 共三个节点,部署在集群的 Master 和 2 个 Core 节点中。在集群初始化的过程中,Kafka 集群的各个服务便会依次启动。您可通过以下路径查看 Kafka Broker 部署情况:

  • 集群列表 > Kafka 集群名称 > 服务列表 > Kafka 服务名称 > 部署拓扑

登录 Kafka Broker 节点

登录到 Kafka Broker 节点中,并执行常用命令。Kafka 集群创建成功且正常运行后,便可使用 Kafka 的各项功能了。
下文介绍一种快速使用、验证 Kafka 功能的方式:通过命令行模式生产消息,并消费生产出来的消息,查看 Kafka 的运行日志。
具体操作步骤如下:

  1. 登录 LAS 控制台。
  2. 单击集群列表 > Kafka 集群名称 > 节点管理,进入节点组列表界面。
  3. 您可任意展开选择 CoreGroup 的一个节点,选择某一个节点 IP,通过 SSH 终端的方式登录机器。
  4. 在 Kafka 集群的某台 Core 节点 的命令行终端中,切换当前工作目录到 Kafka 程序的主目录:
cd /usr/lib/emr/current/kafka
  1. 可以尝试执行各种 Kafka 常用命令。
  2. 命令执行完成后,您可以查看 Kafka 的运行日志。Kafka 是分布式系统,在各个节点中都有对应的运行日志。Kafka 运行日志所在的目录是:/var/log/emr/kafka。可以进入各个节点的上述目录查看 Kafka 的运行日志。

完成上述步骤后,您已经成功尝试完成了 Kafka 集群的试用以及运行日志的查看。接下来可以更深入地探索并使用 Kafka 了。

使用 Kafka Manager (CMAK)

您可以通过 Kafka Manager (CMAK) 的 Web UI 来管理 Kafka 集群。在通过 IP 访问 Kafka Manager 之前,需要先确认以下事项:

  • Kafka 集群的 Master 节点以及 19001 端口在浏览器所在网络中可以访问。
  • 在 Kafka 集群 Master 节点的安全组规则配置中,已经向待访问 Kafka Manager 的机器(比如办公机)开放了 19001 端口的访问。您可以在 Kafka 集群详情页的“访问链接”页签中,单击右上角“配置服务端口”按钮,从而快捷添加入方向访问规则。

进入 Kafka Manager 的操作步骤如下:

  1. 集群列表页中,点击集群名称,进入 Kafka 集群详情页。
  2. 在集群详情页,点击访问链接页签,进入服务链接界面。
  3. 点击 Kafka Manager 的访问链接,进入 Kafka Manager 的登录界面。
  4. 输入您在 LAS 控制台 集群详情 > 用户管理 页面,获取用户名和密码信息,来登录 Kafka Manager。

由于 Kafka Manager 可能不支持一些高版本的 Kafka,在 Kafka Manager 配置集群信息的时候,选择 Kafka 版本时,可以选择与集群中 Kafka 实际版本最接近的版本。

进一步使用 Kafka

尝试过 Kafka 的基本使用后,您可以进一步探索 Kafka。您可以参考 LAS 帮助文档中 Kafka 相关的更多文档,也可以参考 Kafka 的官方网站学习更多的使用方法:https://kafka.apache.org/