Docker Compose中Kafka主机名配置及容器通信故障排查

核心原因 #

之前用127.0.0.1能正常运行，是因为producer和consumer在主机本地运行，localhost指向主机本身，而主机通过端口映射能访问Kafka容器。但现在producer和consumer也在容器里，每个容器的127.0.0.1是容器自身，自然无法连接到Kafka容器。

具体配置修改 #

1. docker-compose.yaml中的Kafka配置

要让Kafka向容器内的客户端暴露可访问的地址，需要配置KAFKA_ADVERTISED_LISTENERS和相关参数，示例如下：

services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9093:9093"  # 外部主机访问用9093，容器间用9092无需映射
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      # 配置两种监听地址：容器间用服务名，外部主机用localhost
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:9093
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:9093
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    depends_on:
      - zookeeper
  producer:
    build: ./producer
    depends_on:
      - kafka
    # 可选：添加等待Kafka就绪的命令，避免启动时连接失败
    command: ["./wait-for-it.sh", "kafka:9092", "--", "python", "producer.py"]
  consumer:
    build: ./consumer
    depends_on:
      - kafka
    command: ["./wait-for-it.sh", "kafka:9092", "--", "python", "consumer.py"]

• KAFKA_ADVERTISED_LISTENERS里的kafka:9092是容器间通信的地址，kafka是Kafka服务的名称，Docker Compose会自动解析为对应容器的IP。
• 如果不需要外部主机访问Kafka，可以只保留PLAINTEXT://kafka:9092。

2. producer.py和consumer.py中的地址配置

把kafka_server改成Kafka服务名加端口：

# producer.py 和 consumer.py 中统一修改
kafka_server = "kafka:9092"

# Producer初始化示例
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=[kafka_server])

# Consumer初始化示例
from kafka import KafkaConsumer
consumer = KafkaConsumer("your_topic_name", bootstrap_servers=[kafka_server])

额外注意事项 #

• 网络一致性：确保producer、consumer和Kafka服务都在同一个Docker网络中（Docker Compose默认会为所有服务创建并加入同一个网络，无需额外配置）。
• 等待Kafka就绪：depends_on只保证启动顺序，不保证Kafka完全就绪。可以在producer和consumer的Dockerfile中加入wait-for-it.sh工具（或者用Python脚本检测连接），避免启动时因Kafka未就绪导致连接失败。
• 依赖安装：确保producer和consumer的Dockerfile中安装了kafka-python或其他Kafka客户端依赖，比如：

# producer/Dockerfile 示例
FROM python:3.9-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY producer.py .
# 若使用wait-for-it，需拷贝脚本到容器
COPY wait-for-it.sh .
RUN chmod +x wait-for-it.sh

内容的提问来源于stack exchange，提问作者Aaron