Django IO密集型应用用Gunicorn+Gevent部署后性能不升反降求排查

针对你遇到的IO bound Django应用使用Gevent worker后性能下降的问题，结合你的配置和测试结果，以下是几个可能的核心原因及对应的排查/解决步骤：

1. Django-Prometheus数据库后端的Patch兼容性问题 #

你使用的django_prometheus.db.backends.postgresql是对原生PostgreSQL后端的封装，而psycogreen.gevent.patch_psycopg默认针对的是原生psycopg2驱动。这个封装层可能导致patch无法正确作用到实际的数据库连接上，使得数据库查询仍然是同步阻塞的，再加上Gevent协程调度的额外开销，最终性能不如同步worker。

排查/解决步骤：

• 临时替换回原生数据库后端django.db.backends.postgresql，重新运行性能测试。如果此时Gevent的性能明显提升，说明是django-prometheus后端的兼容性问题。
• 若要保留Prometheus监控，可以尝试：
  • 在django-prometheus初始化数据库连接之前执行patch操作；
  • 改用独立的数据库查询监控方式（比如直接在代码中添加Prometheus指标，而非依赖封装后的后端）。

2. Monkey Patch的时机错误 #

即使你尝试了多个位置执行patch，如果patch操作晚于数据库连接池的初始化，那么已经创建的连接仍然是同步阻塞的，无法享受Gevent的异步调度优势。

解决步骤：
将patch代码放到wsgi.py的最顶部，确保在导入Django核心模块之前完成patch：

# wsgi.py 开头部分
import gevent.monkey
gevent.monkey.patch_all()
from psycogreen.gevent import patch_psycopg
patch_psycopg()

# 后续原有代码
import os
from django.core.wsgi import get_wsgi_application

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'your_project.settings')
application = get_wsgi_application()

3. Worker数量配置不合理 #

你的CPU是6核（Intel Core i7-9750HF），而当前设置了10个Gevent workers。Gevent是单线程协程模型，每个worker可以处理大量并发请求，过多的worker进程会导致CPU上下文切换开销剧增，反而抵消协程的优势。

解决步骤：
将workers值调整为等于CPU核心数（6）或略高（比如6-8），重新测试性能。

4. 数据库连接池与Gevent协程的冲突 #

Django默认的数据库连接池（CONN_MAX_AGE）是为同步进程设计的，在Gevent协程环境下，如果连接被某个协程长时间持有，会导致其他协程等待连接，引发阻塞。

解决步骤：
在settings.py中调整数据库连接的最大存活时间：

DATABASES = {
    'default': {
        # 其他配置
        'CONN_MAX_AGE': 0,  # 每次请求后关闭连接，或设置为30秒等较小值
    }
}

5. 序列化过程成为CPU瓶颈 #

你的测试API是查询数据库列表并序列化，如果序列化的数据量较大，这个过程属于CPU bound任务。Gevent的单线程模型无法利用多核CPU，会导致整个worker被序列化任务阻塞，无法处理其他请求，最终性能不如多进程的同步worker。

排查/解决步骤：

• 测试返回少量数据的API端点，观察Gevent的性能是否提升。如果是，说明序列化是瓶颈；
• 优化序列化性能：改用更快的序列化库（如orjson替代默认的JSON序列化），或减少单次返回的数据量；
• 考虑混合使用多进程+Gevent：比如设置少量的Gevent workers（等于CPU核心数），每个worker处理大量协程，兼顾IO异步和CPU利用。

额外排查点 #

• 检查测试时的资源占用：用top、iostat等工具查看Gevent模式下的CPU、内存、数据库连接数，确认是否存在数据库连接耗尽、CPU使用率过高（或过低）的情况；
• 确认redis-py的Gevent支持是否生效：django-redis默认使用redis-py的ConnectionPool，确保你使用的是支持Gevent的版本（redis-py >= 3.5.0），且配置中没有强制使用同步连接。

内容的提问来源于stack exchange，提问作者Sajad Rezvani