Docker Compose部署Flask Kafka消费者服务遇Socket Hang Up问题

核心问题根源 #

在Docker环境下用gunicorn启动Flask时，直接在manager.py中通过multiprocessing.Process启动消费者进程会触发以下问题：

• gunicorn默认采用pre-fork工作模式，启动时先加载Flask app再创建worker子进程。主进程中启动的消费者进程会被所有worker继承，导致多个重复消费者实例，引发Kafka消费者组冲突、数据库连接泄漏等资源竞争问题。
• 跨进程传递Flask app对象会导致上下文混乱，子进程无法正确初始化应用上下文，进而引发请求处理异常。
• 消费者进程可能阻塞主线程或导致gunicorn worker崩溃，最终出现socket hang up错误。

解决方案 #

1. 改用线程替代多进程启动消费者 #

将multiprocessing.Process替换为threading.Thread，避免跨进程的上下文传递问题，让消费者与Flask worker共享同一进程空间：

修改manager.py：

app = create_app()

def start_consumer():
    consumer = ConsumerThread('user-tokens', app)
    consumer.start()

# 使用守护线程启动消费者，确保随Flask进程退出而终止
import threading
consumer_thread = threading.Thread(target=start_consumer, daemon=True)
consumer_thread.start()

同时确保ConsumerThread内部正确使用应用上下文：

class ConsumerThread(threading.Thread):
    def __init__(self, topic, app):
        super().__init__()
        self.topic = topic
        self.app = app

    def run(self):
        # 在消费者逻辑中手动激活应用上下文
        with self.app.app_context():
            # 执行Kafka消息消费、数据库写入等逻辑
            pass

2. 使用gunicorn钩子在worker启动后初始化消费者 #

如果必须使用多进程，可借助gunicorn的post_fork钩子，在每个worker进程启动后单独初始化消费者，避免重复实例：

修改manager.py添加钩子函数：

app = create_app()

def start_consumer():
    consumer = ConsumerThread('user-tokens', app)
    consumer.start()

# gunicorn post_fork钩子：每个worker启动后执行
def post_fork(server, worker):
    start_consumer()

修改boot.sh中的gunicorn启动命令，指定钩子：

#!/bin/bash
flask db upgrade
exec gunicorn -b :5000 --access-logfile - --error-logfile - --post-fork manager:post_fork manager:app

3. 排查Docker环境基础问题 #

• 检查数据库连接：确保容器内的数据库连接字符串使用容器名称而非localhost（例如数据库容器名为db，则连接串应为postgresql://user:pass@db:5432/dbname）。
• 查看容器日志：执行docker logs <dispatcher-vehicles容器名>，检查gunicorn和消费者的错误日志，确认是否有数据库连接失败、Kafka不可达等异常。
• 验证端口监听：确保gunicorn绑定的是0.0.0.0:5000（当前-b :5000已满足），而非仅127.0.0.1，否则外部无法访问。

4. 临时调试方案 #

暂时将gunicorn的worker数设为1，排除多worker导致的冲突：
修改boot.sh：

exec gunicorn -b :5000 --workers=1 --access-logfile - --error-logfile - manager:app

内容的提问来源于stack exchange，提问作者Gajawecki