You need to enable JavaScript to run this app.
导航
创建并连接到 Kafka 集群
最近更新时间:2023.02.13 16:03:58首次发布时间:2022.02.24 13:38:44
前言

Kafka是是一个分布式、支持分区的(partition)、多副本的(replica) 分布式消息系统, 深受开发人员的青睐。在本教程中,您将学习如何创建 Kafka 集群,并使用客户端连接,生产数据并消费数据。

关于实验

预计部署时间:20分钟
级别:初级
相关产品:消息队列 - Kafka
受众: 通用

环境说明
  1. 如果还没有火山引擎账号,点击此链接注册账号

  2. 如果您还没有VPC,请先点击链接创建VPC

  3. 消息队列 - Kafka

  4. 云服务器ECS:Centos 7

  5. 在ECS主机上准备Kafka客户端的运行环境,提前安装好Java运行环境

:请将Kafka 集群和 ECS 服务器放到同一个VPC 中,因为Kafka目前不支持公网连接。

实验步骤

步骤1:创建 Kafka 集群

  1. 进入到 消息队列 - Kafka 控制台

  2. 点击创建实例,如下图:

alt

  1. 随后进入到创建实例环节, 请填写实例名称,计算规格,以及适用于您业务的存储规格。

alt

  1. 在选择完私有网络之后,请填写用户名密码。

alt
5. 点击 下一步 确认订单 ,跳转到订单确认环节,请您勾选 我已阅读并同意《产品和服务测试协议》。随后进入到实例创建环节。请您耐心等待几分钟。

步骤2:创建Topic

  1. 创建Topic,请您点击如下按钮,然后进入到创建Topic的流程中。

alt
有如下参数供您选择,请根据您的业务选择
alt

步骤3:安装原生客户端连接Kafka

  1. 下载Kafka 工具包。

  2. 进行解压。

  3. 进入到解压完的目录中。

wget https://archive.apache.org/dist/kafka/2.2.0/kafka_2.11-2.2.0.tgz
tar zxvf kafka_2.11-2.2.0.tgz

步骤4:启动producer并输入测试数据

[root@rudonx kafka_2.11-2.2.0]# bin/kafka-console-producer.sh --broker-list kafka-xxxxx.kafka.ivolces.com:9092  --topic rudonx
>1 rudonx
>2 wanyix
>3 liwangz

步骤5:启动consumer并消费测试数据

  1. 新开一个终端,启动一个consumer程序,进行简单的数据消费。
[root@rudonx kafka_2.11-2.2.0]# bin/kafka-console-consumer.sh --bootstrap-server kafka-xxxxxxx.kafka.ivolces.com:9092  --topic rudonx --from-beginning
1 rudonx
2 wanyix
3 liwangz
  1. 在控制台上观察Topic的情况,可以看到每个分区中消息的数量,分区同步信息等。

alt

步骤6:清除数据并删除集群

您可以从 Kafka控制台中轻松删除 Kakfa 集群。您可以删除不再使用的实例,以免继续为其付费。

  1. 请先在 Topic 管理 中删除所有Topic

  2. 选择您的集群,点击删除,您的集群将被删除。

alt

如果您有其他问题,欢迎您联系火山引擎技术支持服务