跨Docker容器连接Kafka失败：指定kafka地址却访问localhost

问题现状 #

• Express后端配置Kafka brokers为['kafka:9092','kafka:29092']，但日志显示连接报错ECONNREFUSED 127.0.0.1:9092，实际尝试访问localhost而非指定的kafka容器地址
• 已通过docker-compose将两个容器加入同一app-network，执行docker compose up --build后容器均正常运行
• 调整过Kafka的server.properties监听地址，但问题未解决

问题原因 #

Kafka的advertised.listeners配置错误，导致客户端连接时，Kafka返回的是localhost地址。Express容器内的localhost指向自身，而非Kafka容器，因此出现连接拒绝。

解决方案 #

1. 修正Kafka的server.properties配置 #

修改server.properties中的监听和通告地址，区分容器内和外部客户端的访问路径：

broker.id=0
log.dirs=/kafka/data
zookeeper.connect=zookeeper:2181
# 监听所有网卡地址，支持容器内和外部访问
listeners=PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:29092
inter.broker.listener.name=PLAINTEXT
# 容器内客户端（Express）使用kafka容器名访问，外部客户端用localhost
advertised.listeners=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092

2. 完善docker-compose.yml配置 #

添加ZooKeeper服务（Kafka依赖ZooKeeper运行），并调整端口映射：

services:
  zookeeper:
    image: apache/zookeeper
    ports:
      - "2181:2181"
    networks:
      - app-network

  kafka:
    image: apache/kafka
    volumes:
      - kafka-data:/dockerdata
      - ./server.properties:/etc/kafka/server.properties
    ports:
      - "29092:29092"  # 外部客户端通过此端口访问Kafka
    depends_on:
      - zookeeper
    networks:
      - app-network

  express:
    build: ./express
    depends_on:
      - kafka
    ports:
      - "3001:3001"
    env_file:
      - .env
    networks:
      - app-network

volumes:
  kafka-data:

3. 简化Express的Kafka连接配置 #

仅保留容器网络内可访问的Kafka地址：

async function connectToKafka() {
    try {
        const kafka = new kafkajs.Kafka({
            clientId: KAFKA_CLIENT_ID,
            brokers: ['kafka:9092'],
        });
        producer = kafka.producer();
        await producer.connect();
        console.log('Connected to Kafka');
    } catch (error) {
        console.error('Error connecting to Kafka:', error);
        process.exit(1);
    }
}

说明 #

• 容器内的服务通过Docker网络的容器名（kafka）通信，无需使用localhost
• advertised.listeners是Kafka告诉客户端实际用于通信的地址，必须和客户端所在网络环境匹配
• 确保ZooKeeper服务正常运行，否则Kafka无法启动

内容的提问来源于stack exchange，提问作者Nikhil Singh