使用django-apscheduler+ThreadPoolExecutor致PostgreSQL连接耗尽求助

问题根源 #

直接运行管理命令时，进程结束后PostgreSQL会自动回收所有连接；但用django-apscheduler调度时，调度进程是长期运行的——ThreadPoolExecutor创建的工作线程里，Django不会自动管理数据库连接，这些线程的连接用完后不会关闭，越积越多就触发了：

exception:connection to server at "localhost" (::1), port 5432 failed: FATAL: sorry, too many clients already

你试过的close_old_connections()和CONN_MAX_AGE没用的原因：

• close_old_connections()默认只在Web请求的开始/结束时自动调用，后台线程里没这个触发逻辑，主线程调用它管不到工作线程的连接。
• CONN_MAX_AGE是给Web请求复用连接用的，不适用于长期运行的后台线程场景。

可行解决方案 #

1. 给每个线程任务加连接管理包装 #

把数据库操作的任务包一层，在每个线程任务的开头和结尾手动处理连接，确保用完就关：

修改你的管理命令代码：

import concurrent
from django.core.management.base import BaseCommand
from django.db import close_old_connections

from data_model.models import DataModel

def wrapped_task(item):
    # 先清理线程里可能残留的旧连接
    close_old_connections()
    try:
        # 执行实际任务（这里假设你是处理DataModel实例，根据实际逻辑调整）
        return item.do_something_interesting()
    finally:
        # 任务结束后强制关闭当前线程的连接
        close_old_connections()

class Command(BaseCommand):
    help = "Do something interesting"

    def handle(self, *args, **kwargs):
        # 替换成你实际要处理的数据集
        target_items = DataModel.objects.all()
        with concurrent.futures.ThreadPoolExecutor(10) as executor:
            list(executor.map(wrapped_task, target_items))

2. 任务完成后强制关闭所有连接（备选） #

如果包装任务太麻烦，可在整个线程池任务跑完后，直接关闭所有数据库连接（注意：只适合这个命令执行期间没有其他数据库操作的场景）：

def handle(self, *args, **kwargs):
    with concurrent.futures.ThreadPoolExecutor(10) as executor:
        list(executor.map(DataModel.objects.do_something_interesting))
    # 强制关闭所有数据库连接
    from django.db import connections
    for conn in connections.all():
        conn.close()

3. 调整调度器线程配置 #

检查django-apscheduler的调度器设置，避免调度器自身的线程池和业务线程池叠加导致连接过载。比如限制调度器的工作线程数，或者改用进程池（进程池资源开销更大，按需选择）。

验证方式 #

用pgAdmin监控PostgreSQL的会话数，确认调度任务完成后，会话数能正常回落，不再持续累积。

内容的提问来源于stack exchange，提问作者Charles