Bitnami Kafka Docker：主机与容器内连接端口差异原因解析

我使用bitnami/kafka Docker镜像部署Kafka服务时发现：在本地主机（Mac）运行Golang应用和在Docker网络内的容器中运行该应用，连接Kafka的可用端口存在差异。

Docker Compose的Kafka配置 #

kafka:
    image: docker.io/bitnami/kafka:3.3
    ports:
      - "29092:29092"
      - "9092:9092"
    volumes:
      - "kafka_data:/bitnami"
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_LISTENERS=EXTERNAL_SAME_HOST://:29092,INTERNAL://:9092
      - KAFKA_ADVERTISED_LISTENERS=INTERNAL://kafka:9092,EXTERNAL_SAME_HOST://localhost:29092
      - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL_SAME_HOST:PLAINTEXT
      - KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL
      - KAFKA_BROKER_ID=1
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://127.0.0.1:9092
    depends_on:
      - zookeeper

Go代码示例 #

kafkaURL := "localhost:29092" // 在Mac本地运行时可用
kafkaURL := "kafka:9092"      // 在Docker容器内运行时可用
topic := "payments"
writer := newKafkaWriter(kafkaURL, topic)
...

原因解析 #

这是由Kafka的**监听器（Listener）和通告监听器（Advertised Listener）**机制，结合Docker的网络特性共同决定的：

• Kafka通过不同的监听器适配不同网络环境的客户端：

  • INTERNAL监听器：监听Kafka容器内的9092端口，对应的通告地址是kafka:9092。Docker网络内的容器可以通过服务名kafka直接解析到Kafka容器的内部IP，无需经过端口映射，因此容器内的应用用这个地址就能连接到Kafka的内部监听器。
  • EXTERNAL_SAME_HOST监听器：监听Kafka容器内的29092端口，对应的通告地址是localhost:29092。本地主机不在Docker的内部网络中，只能通过Docker的端口映射规则（29092:29092）访问容器内的服务，因此本地应用需要用localhost:29092来连接到这个外部监听器。

• 补充：你的配置里存在重复的KAFKA_CFG_LISTENERS和KAFKA_CFG_ADVERTISED_LISTENERS变量，这部分属于冗余配置，实际生效的是前面的KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS（Bitnami Kafka镜像优先使用不带CFG_前缀的环境变量）。

内容的提问来源于stack exchange，提问作者Tzook Bar Noy