Docker容器中Python Kafka Consumer无法消费本地Spring Boot生产者消息

1. 检查Kafka Broker的网络监听配置 #

本地默认启动的Kafka通常仅绑定localhost，导致处于独立网络命名空间的Docker容器无法访问。需要修改Kafka的server.properties配置文件：

• 修改listeners配置，允许所有网卡监听：

  listeners=PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://localhost:9093
  

• 配置advertised.listeners，指定容器可访问的Broker地址（替换<你的主机局域网IP>为实际IP，比如192.168.3.10）：

  advertised.listeners=PLAINTEXT://<你的主机局域网IP>:9092,PLAINTEXT_HOST://localhost:9093
  

修改完成后重启Kafka服务。

2. 修正Python消费者的Bootstrap地址 #

Docker容器内无法直接通过localhost:9092连接主机的Kafka，需调整消费者代码中的bootstrap_servers参数：

• Windows/macOS环境：使用Docker内置的host.docker.internal作为主机别名：

  consumer = KafkaConsumer(
      'your_topic_name',
      bootstrap_servers=['host.docker.internal:9092'],
      auto_offset_reset='earliest',
      group_id='your_consumer_group'
  )
  

• Linux环境：直接填写主机局域网IP（如192.168.3.10:9092），或启动容器时添加--network host参数（让容器共享主机网络），此时可继续使用localhost:9092。

3. 验证容器网络连通性 #

启动容器后，可进入容器内部测试与主机Kafka的连通性：

# 进入容器
docker exec -it <container_id> /bin/bash
# 测试Kafka端口可达性（替换为你的主机IP）
nc -zv 192.168.3.10 9092

若不通，检查主机防火墙是否开放9092端口，或Docker网络配置是否存在异常。

4. 确认消费者偏移量配置 #

若消费者启动时无历史偏移量，且auto.offset_reset设为latest，则仅会消费启动后的新消息。建议将该参数设为earliest，确保能获取主题中已存在的消息。

内容的提问来源于stack exchange，提问作者simplesystems