Python中使用SQLAlchemy多进程执行时出现SSL错误求助

嘿，这个问题我之前也踩过坑！你碰到的SSL解密错误本质上是多进程共享SQLAlchemy数据库连接导致的——数据库连接对象是绝对不能在进程间安全复用的，一旦子进程继承了主进程的连接，就会出现连接状态混乱，最终触发这类SSL错误。

问题根源 #

你在主进程里执行了PAST_DUE.query.all()，这时候SQLAlchemy已经和数据库建立了连接。当multiprocessing.Pool创建子进程时，子进程会全盘继承主进程的内存状态，包括这个已经建立的数据库连接。但数据库连接是和单个进程绑定的，多个进程共用同一个连接会让数据库端认为连接非法，进而抛出SSL解密失败的错误。

解决方案 #

下面是两种最有效的修复方式，推荐第一种：

1. 主进程只传递ID，子进程独立查询

让主进程只获取PAST_DUE的ID列表，子进程拿到ID后，自己重新查询对象并建立数据库连接，这样每个子进程都有独立的连接，不会冲突。

修改后的代码示例：

import multiprocessing
import os
from app.PD.models import PAST_DUE
from app.LoanContract.models import LOAN_CONTRACT
from app import db  # 假设这是你的SQLAlchemy实例

def doPDDate(pd_id):
    print("Worker process id for {0}: {1}".format(pd_id, os.getpid()))
    # 子进程内重新获取PAST_DUE对象，自动建立独立连接
    n = PAST_DUE.query.get(pd_id)
    if not n:
        return None
    
    LoanID = n.LoanID
    LC = LOAN_CONTRACT.query.filter_by(ID=LoanID).all()
    for row in LC:
        print(row.ID)
    
    # 手动移除会话，避免子进程连接泄漏
    db.session.remove()
    return pd_id

if __name__ == "__main__":
    # 主进程只获取ID，不加载完整对象
    pd_ids = [pd.ID for pd in PAST_DUE.query.all()]
    
    # 创建进程池，建议根据数据库连接池大小设置进程数
    with multiprocessing.Pool(processes=4) as p:
        result = p.map(doPDDate, pd_ids)

2. 子进程内重新初始化数据库会话

如果必须传递完整对象（不推荐），可以在子进程函数开头强制重新创建数据库会话，断开继承的主进程连接：

def doPDDate(n):
    # 重置子进程的数据库会话
    db.session.remove()
    db.session.configure(bind=db.engine)
    
    print("Worker process id for {0}: {1}".format(n.ID, os.getpid()))
    LoanID = n.LoanID
    LC = LOAN_CONTRACT.query.filter_by(ID=LoanID).all()
    for row in LC:
        print(row.ID)
    
    db.session.remove()
    return n.ID

额外优化建议 #

• 控制进程池大小：进程数不要超过数据库的max_connections配置，避免数据库连接耗尽。
• 使用scoped_session：如果你的项目用了scoped_session，它会自动为每个进程创建独立的会话实例，能进一步避免连接共享问题。
• 检查数据库SSL配置：如果上述方法无效，可以临时在数据库连接URL中添加sslmode=disable（仅测试环境），排查是否是SSL证书本身的问题，生产环境请确保证书配置正确。

内容的提问来源于stack exchange，提问作者Houy Narun