多线程场景下Django连接PostgreSQL数据库连接耗尽问题求助

这问题我太熟了——Django在多线程环境下的数据库连接管理确实容易踩坑，尤其是你用的2.0.x版本，本身对多线程的连接池支持就不如后续版本完善。先给你拆解下原因，再给几个落地的解决方案：

问题根源 #

Django的数据库连接是和线程绑定的：每个线程启动时会创建自己的数据库连接，默认情况下，线程结束后不会主动释放连接回连接池。当你开大量线程时，每个线程都占着一个连接，很快就会把PostgreSQL的max_connections（默认100）耗尽，导致新请求连不上数据库。单线程时只有一个连接，所以没问题，但多线程下就直接爆了。

具体解决方案 #

1. 手动释放线程连接 #

在每个线程的任务结束后，一定要调用Django内置的连接清理方法，把连接还给连接池。这是最直接的临时修复方案：

from django.db import close_old_connections

def process_client(client_id):
    try:
        # 子线程内重新查询数据（不要从主线程传Model实例）
        client = Client.objects.get(id=client_id)
        # 生成趋势数据、检查更新的业务逻辑...
        generate_and_save_trend(client)
    finally:
        # 不管任务成功失败，都关闭当前线程的旧连接
        close_old_connections()

这个方法会关闭当前线程中闲置的连接，避免连接被线程一直占用。

2. 严格限制线程数量 #

不要盲目开大量线程，根据你的PostgreSQL配置调整线程池大小。比如PostgreSQL默认max_connections是100，你要留20-30个连接给其他业务，所以线程数最好控制在20-30以内：

from concurrent.futures import ThreadPoolExecutor

def main():
    client_ids = Client.objects.values_list('id', flat=True)
    # 限制最大工作线程数，避免连接数超标
    with ThreadPoolExecutor(max_workers=25) as executor:
        executor.map(process_client, client_ids)

3. 配置数据库连接池（推荐） #

Django2.0可以用第三方连接池库来复用连接，减少连接创建的开销，同时严格控制连接数量。比如django-db-connection-pool，专门适配PostgreSQL：

• 先安装：pip install django-db-connection-pool
• 在settings.py里配置数据库：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2',
        'NAME': 'your_db_name',
        'USER': 'your_db_user',
        'PASSWORD': 'your_db_pass',
        'HOST': 'localhost',
        'PORT': '5432',
        'CONN_MAX_AGE': 300,  # 连接最大存活时间（秒），避免连接失效
        'OPTIONS': {
            'pool_size': 20,  # 核心连接池大小
            'max_overflow': 10,  # 超出核心池的临时连接数，用完自动回收
        }
    }
}

连接池会自动管理连接的创建、复用和销毁，不用手动调用关闭方法，也能避免连接耗尽。

4. 不要在线程间共享数据库对象 #

绝对不要把主线程的QuerySet、Model实例或者数据库连接传到子线程里——这些对象和主线程的连接绑定，子线程用的时候会导致连接混乱，甚至占用多个连接。正确的做法是：在子线程内部重新查询数据，确保每个线程用自己的连接。

总结 #

核心思路就是：控制线程数量 + 及时释放/复用连接。先试手动释放连接+限制线程数的方案，能快速解决问题；如果长期用多线程处理数据，最好配置连接池，一劳永逸。

内容的提问来源于stack exchange，提问作者GeorgeLPerkins