如何使用Kafkaesque工具连接本地Docker部署的Kafka容器？

问题背景 #

我通过Bitnami Docker镜像搭建了包含Zookeeper、Kafka及Schema Registry的本地环境，尝试用Kafkaesque工具操作Kafka主题，但配置连接后始终无法成功，该情况对应Confluent博客中提到的场景4问题。

当前使用的docker-compose.yml配置：

zookeeper:
    image: docker.io/bitnami/zookeeper:3.8
    ports:
      - "2181:2181"
    volumes:
      - "zookeeper_data:/bitnami"
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
  kafka:
    image: docker.io/bitnami/kafka:3.4
    ports:
      - "9092:9092"
      - "9000:9000"
      - "9080:8080"
      - "9081:9081"
      - "9082-9084:9082-9084"
    volumes:
      - "kafka_data:/bitnami"
    environment:
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_ENABLE_KRAFT=no
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092
    depends_on:
      - zookeeper
  schema-registry:
    image: docker.io/bitnami/schema-registry:7.3
    ports:
      - '8081:8081'
    depends_on:
      - kafka
    environment:
      - SCHEMA_REGISTRY_LISTENERS=http://0.0.0.0:8081
      - SCHEMA_REGISTRY_KAFKA_BROKERS=PLAINTEXT://kafka:9092

本地Spring Boot应用配置：

spring.kafka:
  bootstrap-servers: localhost:9092
  properties:
    schema.registry.url: http://localhost:8081
  streams:
    cleanup.on-startup: true

核心原因 #

问题出在Kafka的advertised.listeners配置缺失：当外部客户端（如本地的Kafkaesque）连接时，Kafka返回的是Docker内部的kafka:9092地址，而该地址无法在本地主机直接访问，导致连接失败。

解决方案 #

1. 修改Kafka服务的Docker配置 #

更新docker-compose.yml中Kafka服务的环境变量和端口映射，添加用于外部客户端访问的listener配置：

kafka:
  image: docker.io/bitnami/kafka:3.4
  ports:
    - "9092:9092"
    - "29092:29092"  # 新增外部客户端访问端口
    - "9000:9000"
    - "9080:8080"
    - "9081:9081"
    - "9082-9084:9082-9084"
  volumes:
    - "kafka_data:/bitnami"
  environment:
    - ALLOW_PLAINTEXT_LISTENER=yes
    - KAFKA_ENABLE_KRAFT=no
    - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
    - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,PLAINTEXT_HOST://:29092  # 配置内部+外部双listener
    - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092  # 声明内部/外部访问地址
    - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT  # 映射listener协议
  depends_on:
    - zookeeper

2. 更新本地客户端配置 #

• Kafkaesque工具：将Bootstrap Servers配置为localhost:29092，Schema Registry URL保持http://localhost:8081
• Spring Boot应用：修改bootstrap-servers地址为localhost:29092，配置如下：

spring.kafka:
  bootstrap-servers: localhost:29092
  properties:
    schema.registry.url: http://localhost:8081
  streams:
    cleanup.on-startup: true

3. 重启服务 #

执行以下命令重启Docker集群，使配置生效：

docker-compose down
docker-compose up -d

内容的提问来源于stack exchange，提问作者cUser