Flask应用高并发快速响应请求时的线程问题及队列选型咨询

你遇到的RuntimeError: can't start new thread，核心原因是每次请求都创建新线程，短时间内数十万请求会耗尽系统线程资源——操作系统对单个进程能创建的线程数有严格限制，线程过多会占用大量内存和调度资源，触发该错误。

队列的正确用法：固定线程池+任务队列 #

不需要给每个任务新建线程，而是用固定大小的线程池来消费队列任务，线程池内的线程会重复利用，从根源上避免线程数爆炸。

方案1：标准库实现（无额外依赖） #

Python标准库的concurrent.futures.ThreadPoolExecutor已经封装了线程池+任务队列的逻辑，适合单实例、简单场景：

1. 在Flask启动阶段初始化线程池：

from concurrent.futures import ThreadPoolExecutor
from flask import Flask

app = Flask(__name__)
# 根据服务器配置设置线程数，建议20-100之间（别过大，避免资源耗尽）
executor = ThreadPoolExecutor(max_workers=30)

2. 修改任务提交逻辑：

def handle_request(data, event, content):
    app = current_app._get_current_object()
    # 提交任务到线程池，由空闲线程自动执行
    executor.submit(_handle_request_in_thread, app, data, event, content)

线程数被max_workers严格限制，既保证并行处理能力，又不会突破系统线程阈值。

方案2：RQ（Redis Queue）（适合复杂生产场景） #

如果你的应用是分布式部署（多台Flask实例）、需要任务持久化（防止服务器重启丢失任务）、或者要监控任务执行状态，RQ更合适，但需要依赖Redis：

1. 安装依赖：pip install rq redis

2. 初始化RQ队列：

from rq import Queue
from redis import Redis
from flask import current_app

# 根据你的Redis实际配置修改连接参数
redis_conn = Redis(host='localhost', port=6379, db=0)
task_queue = Queue(connection=redis_conn)

3. 修改任务提交逻辑：

def handle_request(data, event, content):
    app = current_app._get_current_object()
    # 将任务加入RQ队列
    task_queue.enqueue(_handle_request_in_thread, app, data, event, content)

4. 启动RQ Worker消费队列：
   在终端执行：rq worker

Worker会持续从队列中取任务执行，即使Flask实例重启，未完成的任务会保存在Redis中不丢失，还能通过RQ工具查看任务状态、重试失败任务。

选择建议 #

• 单实例部署、任务无需持久化：优先用ThreadPoolExecutor，轻量无依赖，足够解决问题。
• 分布式部署、需要任务持久化/监控：选RQ，功能更完善，适配生产环境复杂场景。

内容的提问来源于stack exchange，提问作者mimic