如何在以任务形式运行于AWS ECS集群的Kafka中创建主题？

首先明确：AWS CLI无法直接操作Kafka主题，主题创建需要使用Kafka官方提供的客户端工具（如kafka-topics.sh），关键是要获取到ECS中Kafka任务的可访问端点地址，具体分以下几种情况：

1. 获取Kafka任务的连接端点 #

根据你的ECS任务网络模式，选择对应的地址：

• awsvpc网络模式（推荐）：
  • 查看ECS任务详情，找到容器的「私有IP」和Kafka监听端口（默认9092，若自定义则用配置的端口），格式为 [私有IP]:[端口]
  • 如果为Kafka服务配置了Cloud Map服务发现，可以直接使用服务发现的域名（比如 kafka-service.local:9092）
  • 如果配置了网络负载均衡（NLB）转发Kafka流量，可使用NLB的DNS名称+端口，格式为 [NLB-DNS]:[端口]
• bridge网络模式：
  • 使用ECS容器实例的私有IP，加上任务配置的「主机端口」（即容器端口映射到实例的端口），格式为 [实例私有IP]:[主机端口]

2. 执行主题创建命令 #

在能够访问上述端点的环境（比如VPC内的EC2实例、同集群的ECS客户端任务、或通过VPN/Direct Connect接入VPC的本地机器），运行Kafka客户端命令：

kafka-topics.sh --create \
  --bootstrap-server [你的Kafka端点地址] \
  --topic [主题名称] \
  --partitions [分区数] \
  --replication-factor [副本数]

注意：副本数不能超过ECS集群中Kafka broker的数量，否则命令会失败。

内容的提问来源于stack exchange，提问作者Yakov Stoykov