Docker部署Kafka多监听器配置后9092端口连接失败问题咨询

核心配置错误出在KAFKA_LISTENERS的地址绑定规则上。
当前配置KAFKA_LISTENERS: DOCKER://kafka0:29092,LOCAL://localhost:9092会让Kafka进程做如下端口绑定：

• 29092端口绑定到容器内hostname为kafka0对应的网卡IP
• 9092端口绑定到容器内部回环地址（127.0.0.1）

容器是独立网络命名空间，内部localhost和宿主机、Docker网桥完全隔离，绑定在回环地址的服务只能被容器内部进程访问，外部流量哪怕通过Docker端口映射转发到容器，也无法被Kafka进程接收。nc测试能连通9092端口只是Docker端口映射规则完成了TCP握手应答，实际请求到不了Kafka服务，才会触发kafkacat获取元数据失败的报错。
另外compose配置中hostname设为kafka，但DOCKER监听器地址写的是kafka0，二者不匹配，后续Docker网络内服务通信时会出现域名解析故障。

Kafka 7.x版本的监听器逻辑和2018年公开的配置规则没有本质变更，核心是要区分两个易混淆的配置项：

• KAFKA_LISTENERS：Kafka进程实际绑定的网卡和端口，需要对外提供访问的端口必须绑定到0.0.0.0（即所有网卡），不能绑定localhost或特定内网IP
• KAFKA_ADVERTISED_LISTENERS：Kafka返回给客户端的访问地址，该地址必须保证客户端所在网络环境下可正常解析连通

单节点Docker部署的正确配置参考如下：

services:
  kafka:
    image: confluentinc/cp-kafka:7.0.1
    hostname: kafka
    container_name: kafka
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: DOCKER://:29092,LOCAL://:9092
      KAFKA_ADVERTISED_LISTENERS: DOCKER://kafka:29092,LOCAL://localhost:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: DOCKER:PLAINTEXT,LOCAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: DOCKER
      # Zookeeper连接等其余基础配置保持原有内容即可

配置生效后两个端口的访问逻辑完全符合预期：

• 29092端口：供Docker网络内部服务访问，客户端拿到的advertised地址为kafka:29092，通过Docker内置DNS直接解析到Kafka容器内网IP，不需要额外做端口映射
• 9092端口：供宿主机上的客户端访问，客户端拿到的advertised地址为localhost:9092，通过映射的9092端口直接连通

重启容器后在宿主机执行测试命令：

kafkacat -b localhost:9092 -L

正常会返回集群所有broker、topic的元数据信息，不会再出现传输失败报错，全程不需要修改/etc/hosts做手动域名指向。

内容的提问来源于stack exchange，提问作者Marco Massenzio