如何从Docker外部连接无Zookeeper的Docker化Kafka集群？

• 公司从依赖ZooKeeper的旧版Kafka切换至无ZooKeeper的新版Kafka后，工作流异常
• 小程序在Docker容器内运行时可正常连接Kafka，但本地IDE直接运行连接Docker化Kafka集群时，触发「Client has run out of available brokers to talk to: EOF」错误
• 容器内运行正常，推测是配置差异导致，且现有资料多针对带ZooKeeper的场景，参考价值有限
• 使用Windows系统

相关配置 #

Kafka容器的Compose文件 #

# KAFKA
kafka:
  <<: *logging
  image: bitnami/kafka:3.5.1
  labels:
    niche.type: "kafka"
  container_name: kafka
  restart: unless-stopped
  environment:
    # Tell kafka that it's running in single-node mode
    KAFKA_CFG_NODE_ID: 0
    KAFKA_CFG_PROCESS_ROLES: controller,broker
    KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://localhost:29092
    KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://:9092,EXTERNAL://localhost:29092
    KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,EXTERNAL:PLAINTEXT
    KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 0@kafka:9093
    KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER
    KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE: 'false'
    KAFKA_CFG_DELETE_TOPIC_ENABLE: 'true'
    KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
  networks:
    - development
  ports:
    - 29092:29092
  volumes:
    - type: volume
      source: kafka3-data
      target: /bitnami/kafka
    - type: tmpfs
      target: /bitname/kafka/tmp

程序Docker化的Compose配置 #

inventory:
  <<: [ *dns, *logging ]
  build:
    context: ./inventory
    dockerfile: ./cmd/inventory/Dockerfile
  image: ${USER:?USER}/inventory:latest
  container_name: inventory
  env_file:
    - urls.env
    - inventory/cmd/inventory/docker.env
  networks:
    - development
  ports:
    - 4096:4096
  depends_on:
    postgres:
      condition: service_started
    kafka:
      condition: service_healthy

程序容器内的Kafka配置 #

KAFKA_BROKERS=kafka:9092

本地IDE运行程序时的参数 #

"args": [
    "-kafka.brokers=localhost:29092"
]

疑问 #

怀疑问题在于连接Kafka容器的方式，29092端口正确（换其他端口会提示无法连接），但不确定监听器配置为//localhost:29092是否合适。曾尝试改为docker.host.internal，但Kafka镜像无法识别。此前使用ZooKeeper时该工作流正常，推测是配置问题。

1. 修正Kafka监听器绑定地址 #

当前KAFKA_CFG_LISTENERS中EXTERNAL://localhost:29092的配置错误，会让Kafka仅监听容器内部的localhost，导致外部（本地IDE）无法建立有效连接。需改为绑定容器所有网卡：

KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://0.0.0.0:29092

2. 适配Windows环境调整advertised.listeners #

Windows Docker Desktop中，本地主机访问容器服务需使用host.docker.internal作为主机名，因此KAFKA_CFG_ADVERTISED_LISTENERS需更新为：

KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,EXTERNAL://host.docker.internal:29092

3. 调整本地IDE连接参数 #

将IDE启动参数中的Kafka地址改为：

"args": [
    "-kafka.brokers=host.docker.internal:29092"
]

原理说明 #

• listeners是Kafka实际监听的网卡和端口，必须绑定0.0.0.0才能允许容器外请求接入；
• advertised.listeners是Kafka返回给客户端的连接地址，需根据客户端环境设置：容器内用kafka:9092（Docker内部DNS解析），本地IDE用host.docker.internal:29092（Windows Docker主机映射地址）；
• 之前的EOF错误是因为客户端（本地IDE）连接29092端口后，Kafka返回的advertised地址是localhost:29092，客户端尝试连接自己本地的端口而非容器内Kafka，导致连接中断，最终耗尽可用Broker。

内容的提问来源于stack exchange，提问作者Graven Totem