为何SQLAlchemy连接数超出限制？如何设置连接数上限

问题根源 #

你的代码中手动调用connection.close()归还连接，但如果pd.read_sql_query抛出异常，close()会被跳过，导致连接泄漏，连接池无法回收这些连接，最终不断创建新连接。另外，SQLAlchemy的连接池参数需要配合正确的连接管理方式才能生效。

解决方案 #

1. 使用上下文管理器确保连接正确回收 #

将sql_query函数改为用with语句管理连接，无论是否发生异常，连接都会自动归还到连接池：

def sql_query(query, params=None):
    with engine.connect() as connection:
        return pd.read_sql_query(query, connection, params=params)

无需手动调用close()，上下文管理器会自动处理连接的获取与归还

2. 正确配置连接池参数 #

调整create_engine的参数，将总连接上限（pool_size + max_overflow）控制在5以内，例如设置总上限为4：

engine = sa.create_engine(
    connection_url,
    fast_executemany=fast_executemany,
    pool_size=2,       # 连接池保持的核心连接数
    max_overflow=2,    # 核心池满时允许临时创建的额外连接数，总上限=2+2=4
    pool_recycle=3600, # 定期回收闲置连接，避免连接失效
    pool_timeout=30    # 获取连接的超时时间，防止无限等待
)

• pool_size：连接池长期保持的最小连接数，闲置时不会关闭
• max_overflow：核心池满后允许临时扩容的连接数，使用完毕会被关闭
• 总连接数上限为pool_size + max_overflow，这里设置为4，满足你5以内的要求

3. 移除冗余的全局连接函数 #

不需要单独的get_connection函数，直接通过上下文管理器获取连接，避免全局变量带来的潜在问题。

验证方法 #

修改代码后运行测试函数，用以下SQL监控连接数：

SELECT 
    DB_NAME(dbid) as DBName, 
    COUNT(dbid) as NumberOfConnections,
    loginame as LoginName
FROM
    sys.sysprocesses with (nolock)
WHERE 
    dbid > 0
    and ecid=0
    and loginame = 'testsqluser'
GROUP BY 
    dbid, loginame

此时连接数会稳定在pool_size + max_overflow的上限以内，不会再出现超限情况。

内容的提问来源于stack exchange，提问作者Vitamin C