Python多进程场景下DB客户端共享与独立创建的选型咨询

为每个进程单独分配专属DB客户端是更安全、更符合行业通用规范的方案，不推荐多进程共享同一个DB客户端

不推荐共享DB客户端的核心原因 #

• 多进程场景下进程内存空间相互隔离，绝大多数DB客户端底层依赖的socket连接、文件描述符、会话状态属于进程级资源，跨进程传递使用会出现不可预期的错误：包括但不限于数据包乱序、连接无故断开、事务提交/回滚逻辑错乱、会话级配置串改，极端情况下甚至会返回错误的查询结果
• 共享连接本质上存在多进程竞态读写问题，没有内置锁机制的话完全无法保证操作的原子性，而额外加锁会直接抵消多进程的并发优势
• 几乎所有主流数据库（MySQL、PostgreSQL、MongoDB等）的官方客户端文档都明确标注不支持跨进程共享同一个连接实例

专属DB客户端方案的优势 #

• 每个进程的连接完全独立，不存在资源竞态和状态串扰问题，稳定性有明确保障
• 可以借助concurrent.futures.ProcessPoolExecutor的initializer初始化钩子，在每个工作进程启动时仅初始化1次DB客户端，避免每次任务执行重复创建连接的额外开销
• 问题排查成本更低，连接报错、异常可以直接对应到所属进程和执行的任务，不会被其他进程的操作干扰

内容的提问来源于stack exchange，提问作者pepsi