Docker化Kafka Python消费者因消息循环卡在Attaching to...

问题本质 #

你遇到的"卡住"并非异常：Python Kafka客户端的for message in consumer是阻塞式迭代器，当没有消息时，它会持续保持进程活跃以等待新消息。Docker容器会跟随主进程（你的Python脚本）的状态运行，所以终端会停留在Attaching to consumer状态，这是消费者正常监听消息的表现。

可行解决方案 #

1. 后台运行容器（持续监听场景） #

如果需要消费者一直运行监听消息，启动容器时添加-d参数让它后台运行，避免终端被占用：

docker-compose up -d consumer

之后可以通过以下命令查看实时日志：

docker logs -f consumer

若要停止容器，执行：

docker-compose stop consumer

2. 修改代码让消费完成后退出（一次性消费场景） #

如果只需要消费现有消息后自动退出，可给消费者设置超时时间，超时后触发退出：

from kafka import KafkaConsumer

# 初始化消费者，替换成你的topic和Kafka服务地址
consumer = KafkaConsumer(
    'your_topic_name',
    bootstrap_servers='kafka:9092',
    auto_offset_reset='earliest'
)

# 设置30秒超时，无消息则停止迭代
consumer.timeout_ms = 30000

try:
    for message in consumer:
        print(f"Received: {message.value.decode('utf-8')}")
except StopIteration:
    print("No more messages, exiting")
    consumer.close()

3. 核对Kafka连接配置 #

确保consumer.py中的bootstrap_servers配置为docker-compose中Kafka服务的名称（比如kafka:9092），不要用localhost——容器内的localhost指向自身，无法访问其他容器的Kafka服务。

内容的提问来源于stack exchange，提问作者Alejandro