You need to enable JavaScript to run this app.
导航

基础使用

最近更新时间2023.01.16 10:09:49

首次发布时间2023.01.16 10:09:49

本文为您介绍火山引擎 E-MapReduce(EMR)kafka 组件相关的一些常用命令。

1 使用前提

已创建实时计算场景下,kafka 相关的 EMR 集群类型。详见创建集群

2 登录集群

  1. 登录 EMR 控制台

  2. 在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间。

  3. 单击集群列表 > 集群名称 > 服务列表 > Kafka > 部署拓扑页签,进入 Kafka 组件服务的部署拓扑。

  4. 单击组件名称下 (emr-core-1 主机名称)的 ECS ID,跳转进入到云服务器的实例界面,点击右上角的远程连接按钮。

  5. 选择一种远程连接方式(推荐选择 ECS Terminal),并输入集群相关认证信息,登录到 Kafka 集群的命令行环境中,来执行相关命令行操作。

说明

若集群节点组节点已挂载公网 IP,则您也可以通过 SSH 方式连接集群,详见登录集群

3 常用命令

3.1 创建 topic

/usr/lib/emr/current/kafka/bin/kafka-topics.sh --create --bootstrap-server `hostname -i`:9092 --topic test --replication-factor 3 --partitions 12

3.2 查看 topic 列表

/usr/lib/emr/current/kafka/bin/kafka-topics.sh --list --bootstrap-server `hostname -i`:9092

3.3 查看 topic 状态

/usr/lib/emr/current/kafka/bin/kafka-topics.sh --describe --bootstrap-server `hostname -i`:9092 --topic test

3.4 发送消息

/usr/lib/emr/current/kafka/bin/kafka-console-producer.sh --broker-list `hostname -i`:9092 --topic test
1
2
3

3.5 消费消息

/usr/lib/emr/current/kafka/bin/kafka-console-consumer.sh --bootstrap-server `hostname -i`:9092 --group testGroup --topic test --from-beginning earliest

3.6 查看消费列表

/usr/lib/emr/current/kafka/bin/kafka-consumer-groups.sh --list --bootstrap-server `hostname -i`:9092

3.7 查看消费状态

/usr/lib/emr/current/kafka/bin/kafka-consumer-groups.sh --bootstrap-server `hostname -i`:9092 --group testGroup --describe