Docker容器连接同网络Kafka容器时出现NoBrokersAvailable错误

核心问题1：Kafka副本数配置冲突 #

你的Kafka配置中KAFKA_CONFLUENT_TOPIC_REPLICATION_FACTOR: 3，但当前仅部署了1个Broker节点。Kafka要求副本数量不能超过集群内Broker的总数，这个错误配置会导致Kafka无法完成初始化流程，进而无法对外提供服务，最终应用连接时抛出NoBrokersAvailable异常。

核心问题2：容器启动顺序≠服务就绪 #

depends_on仅保证容器的启动顺序，不会等待Kafka或Zookeeper的服务完全初始化完成。你的应用可能在Kafka还未就绪时就尝试建立连接，导致连接失败。

具体修复步骤 #

1. 修正Kafka副本数配置 #

修改docker-compose.yml中Kafka的环境变量，将副本数调整为与Broker数量一致（当前为1）：

KAFKA_CONFLUENT_TOPIC_REPLICATION_FACTOR: 1

如果后续需要更高可用性，可增加Broker节点数后再同步调整副本数。

2. 确保应用等待Kafka服务就绪 #

有两种可靠方案：

方案A：使用本地等待脚本

在你的app/和app-entry/目录下创建wait-for-it.sh脚本，内容如下：

#!/usr/bin/env bash
# 等待指定主机和端口可用
WAIT_HOST=$1
WAIT_PORT=$2
shift 2
CMD="$@"

until nc -z "$WAIT_HOST" "$WAIT_PORT"; do
  echo "等待 $WAIT_HOST:$WAIT_PORT 可用..."
  sleep 5
done

echo "$WAIT_HOST:$WAIT_PORT 已就绪，启动应用..."
exec $CMD

然后在对应应用的Dockerfile中添加以下内容，复制脚本并设置启动命令：

COPY wait-for-it.sh /wait-for-it.sh
RUN chmod +x /wait-for-it.sh

# 将下方的"你的应用启动命令"替换为实际启动命令，比如"python app.py"
CMD ["/wait-for-it.sh", "kafka", "9092", "--", "你的应用启动命令"]

方案B：在应用代码中添加重试逻辑

修改Kafka消费者/生产者的创建代码，增加重试机制，直到连接成功：

from kafka import KafkaConsumer, KafkaProducer, errors
import time
from json import loads, dumps

def get_kafka_consumer():
    while True:
        try:
            return KafkaConsumer(
                ['clickup-task-created', 'clickup-task-updated', 'sheets-task-updated', 'sheets-task-created'],
                bootstrap_servers=['kafka:9092'],
                auto_offset_reset='earliest',
                enable_auto_commit=True,
                group_id='my-group',
                value_deserializer=lambda x: loads(x.decode('utf-8'))
            )
        except errors.NoBrokersAvailable:
            print("Kafka Broker未就绪，5秒后重试...")
            time.sleep(5)

def get_kafka_producer():
    while True:
        try:
            return KafkaProducer(
                bootstrap_servers=['kafka:9092'],
                value_serializer=lambda x: dumps(x).encode('utf-8'),
            )
        except errors.NoBrokersAvailable:
            print("Kafka Broker未就绪，5秒后重试...")
            time.sleep(5)

# 初始化消费者和生产者
consumer = get_kafka_consumer()
producer = get_kafka_producer()

3. 重启服务 #

修改配置后，停止并重新构建启动所有容器：

docker-compose down
docker-compose up --build -d

内容的提问来源于stack exchange，提问作者Connor Mayston