Docker中Kafka无法被主机应用访问的问题排查与解决

问题原因 #

主机上的外部客户端连接localhost:29092后，Kafka会将KAFKA_ADVERTISED_LISTENERS中配置的所有地址返回给客户端，客户端后续会尝试使用这些地址与Kafka建立通信。你的配置里包含了PLAINTEXT://kafka:9092，但kafka这个主机名只有Docker内部网络能解析，主机系统无法识别，因此出现lookup kafka: no such host错误。

另外你尝试将端口映射改为29092:29092后出现unexpected EOF，是因为Kafka容器内部并没有监听29092端口（原配置的PLAINTEXT_HOST监听的是localhost:29092，且仅容器内部localhost可访问），导致主机连接后没有响应，触发EOF错误。

修正后的Kafka配置 #

调整Kafka的监听和通告地址，确保内部服务和外部主机各自拿到可访问的地址：

kafka:
  image: 'wurstmeister/kafka:2.13-2.8.1'
  container_name: kafka
  ports:
    - '29092:29092' # 外部主机访问用的端口映射
    - '9092:9092'   # 内部服务（如kafka-ui）访问用，可保留也可去掉
  environment:
    KAFKA_BROKER_ID: 1
    KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    # 容器内监听地址：内部服务用kafka:9092，外部用0.0.0.0:29092（监听容器所有网络接口）
    KAFKA_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://0.0.0.0:29092
    # 通告地址：内部服务返回kafka:9092，外部主机返回localhost:29092
    KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
    KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
    KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    KAFKA_AUTO_CREATE_TOPICS_ENABLE: false
    KAFKA_CREATE_TOPICS: sometopic:1:1
  depends_on:
    - zookeeper

关键修改说明 #

• 将KAFKA_LISTENERS中的PLAINTEXT_HOST改为0.0.0.0:29092：让Kafka容器监听所有可用网络接口的29092端口，确保外部端口映射能正常转发请求。
• 端口映射保持29092:29092：与容器内监听的端口一致，避免端口不匹配导致连接失败。
• 保持内部通告地址为kafka:9092：确保Docker内部的kafka-ui等服务能正常访问Kafka。

额外注意 #

如果你的外部客户端不是运行在Docker主机本机，而是其他机器，需要将KAFKA_ADVERTISED_LISTENERS中的PLAINTEXT_HOST地址改为Docker主机的公网/局域网IP，而非localhost。

内容的提问来源于stack exchange，提问作者BeetleJuice