从你的描述来看，核心问题是Gunicorn的多Worker配置没有发挥作用，CPU密集的文档处理请求始终串行执行。我来帮你一步步排查和解决：

一、先确认基础配置是否真的生效 #

首先要排除“配置没生效”这种低级问题：

• 启动Gunicorn时，确保你正确加载了配置文件，比如用命令 gunicorn -c your_config.py app:app
• 用 ps aux | grep gunicorn 查看进程列表：应该能看到1个主进程 + 你配置的4个Worker进程。如果只有1个进程，说明配置没被正确读取（比如路径错了，或者命令行参数覆盖了配置）。

二、验证客户端请求是否真的并发 #

很多时候看起来是“异步请求”，但客户端实际上是串行发送的（比如有些前端的异步实现会等待前一个请求完成再发下一个）。你可以用下面的Python脚本测试，确保4个请求是同时发起的：

import aiohttp
import asyncio
import time

async def fetch(session, doc_path):
    start_time = time.time()
    async with session.post('http://{{server_ip}}:5001/process', 
                           data={'file': open(doc_path, 'rb')}) as response:
        await response.text()
        print(f"处理完成耗时: {time.time() - start_time:.2f}s")

async def main():
    docs = ['doc1.pdf', 'doc2.pdf', 'doc3.pdf', 'doc4.pdf']  # 替换成你的测试文档
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, doc) for doc in docs]
        start_total = time.time()
        await asyncio.gather(*tasks)
        print(f"总耗时: {time.time() - start_total:.2f}s")

if __name__ == '__main__':
    asyncio.run(main())

如果总耗时接近单个文档的处理时间，说明请求确实在并行；如果总耗时是单个的4倍，那问题出在客户端的请求方式。

三、针对CPU密集任务调整Gunicorn配置 #

你的文档NER/分类属于CPU密集型任务，这时候Gunicorn的Worker类选择非常关键：

• 不要用gthread或gevent：这两类Worker适合IO密集场景（比如频繁读写DB、调用API），但受Python GIL限制，CPU密集任务下多线程无法真正并行。
• 应该用默认的sync Worker：每个Worker是独立的进程，能完全利用多核CPU。

调整后的推荐配置：

bind: {{server_ip}}:5001
max_requests: 1000
max_requests_jitter: 2
workers: 4  # 建议设置为服务器CPU核心数，或核心数+1
worker_class: 'sync'  # CPU密集场景最优选择
timeout: 1500
daemon: True
access_log_format: '%(h)s %(l)s %(u)s %(t)s "%(r)s" %(s)s %(b)s "%(f)s" "%(a)s"'
capture_output: True

注意：threads参数只有在gthread模式下才生效，sync模式下可以直接去掉这个配置。

四、检查代码中是否有全局共享阻塞资源 #

如果配置都没问题，但请求还是串行，那要检查你的Flask代码有没有导致阻塞的共享资源：

• 模型加载：如果你的模型是在Flask全局上下文加载的（比如model = load_ner_model()），每个sync Worker会独立加载一份模型副本，这是正常的，不会导致阻塞。但如果你的模型加载逻辑有锁，或者依赖共享的硬件资源（比如GPU，如果你用了GPU推理），那可能会导致竞争阻塞。
• 共享锁/资源：如果代码中用了全局的threading.Lock、共享文件句柄、单例数据库连接等，可能会导致请求串行。要确保每个请求的处理逻辑是完全独立的，没有跨进程/线程的阻塞等待。

五、是否需要引入任务队列？ #

如果你的请求量持续超过Worker的处理能力（比如同时有几十个请求），可以考虑引入任务队列（比如Celery + Redis）：

1. 客户端上传文档后，Flask只负责把任务放到队列里，立即返回任务ID给客户端
2. 独立的Worker进程（或多台机器的Worker）从队列中取任务处理
3. 客户端通过任务ID轮询或接收Webhook获取结果

但如果只是处理4个请求，正常的多Worker配置应该就能并行处理，所以优先排查前面的问题。

内容的提问来源于stack exchange，提问作者Cyrus Dsouza