Python多进程共享已导入Class问题求助

这个问题我之前也碰到过，核心原因就是Python多进程的内存隔离机制——不管是Windows的spawn还是Unix的fork，子进程拿到的都是模块导入时的原始Meta类状态（Windows会重新导入模块，Unix如果是先创建Pool再初始化Meta的话，子进程fork时还没完成初始化）。下面给你几个实用的解决方案，按需选择：

方法1：子进程内重新初始化（最简单直接） #

既然子进程的Meta是原始状态，那就在每个子进程的worker函数开头，手动调用初始化方法。这种方式不需要额外的进程间通信，适合初始化成本低、无资源冲突的场景（比如数据库连接，每个子进程单独持有连接反而更安全）。

def worker(*args):
    # 子进程启动后自己初始化Meta
    initialize_meta_db()
    print(Meta.db_a)  # 现在能拿到正确的值了

注意：如果初始化操作比较耗时（比如建立远程连接），多个子进程重复初始化会增加启动开销，这种情况可以考虑其他方法。

方法2：利用Pool的初始化函数传递参数 #

multiprocessing.Pool提供了initializer和initargs参数，允许你在每个子进程启动时执行一段初始化代码，并传递必要的参数。这种方式跨平台兼容，适合需要传递配置参数、避免重复初始化逻辑的场景。

示例（传递数据库连接参数）： #

如果你的Meta.db_a是数据库连接，不能直接传递连接对象（进程间无法序列化网络连接），但可以传递连接参数，让子进程自己创建连接：

# 定义子进程的初始化函数
def init_worker(db_a_params, db_b_params):
    # 子进程用参数初始化Meta的属性
    Meta.db_a = create_db_connection(db_a_params)
    Meta.db_b = create_db_connection(db_b_params)

def runner():
    # 主进程先获取连接参数
    db_a_params = {"host": "xxx", "port": 3306, "user": "xxx"}
    db_b_params = {"host": "yyy", "port": 3306, "user": "yyy"}
    
    # 创建Pool时指定初始化函数和参数
    pool = multiprocessing.Pool(
        4,
        initializer=init_worker,
        initargs=(db_a_params, db_b_params)
    )
    pool.map(worker, arg_list)
    pool.close()
    pool.join()

def worker(*args):
    print(Meta.db_a)  # 子进程已完成初始化

方法3：Unix/Linux环境下利用fork特性优化 #

如果你只需要在Unix/Linux系统运行，可以利用fork的特性：主进程先初始化Meta，再创建Pool。这样子进程在fork时会直接复制主进程已初始化的Meta内存状态，不需要额外操作。

def runner():
    # 先完成Meta的初始化
    initialize_meta_db()
    # 再创建Pool，此时fork出的子进程会继承已初始化的Meta
    pool = multiprocessing.Pool(4)
    pool.map(worker, arg_list)
    pool.close()
    pool.join()

def worker(*args):
    print(Meta.db_a)  # 直接拿到主进程初始化后的值

注意：这种方法在Windows下完全无效，因为Windows用spawn启动子进程时会重新导入所有模块，Meta会回到初始的None状态。另外，子进程的Meta是主进程的副本，修改子进程的Meta不会同步到主进程，反之亦然，适合只读场景。

方法4：用Manager共享动态状态（适合需要实时同步的场景） #

如果你的Meta属性需要在主进程运行时动态修改，并且要同步到所有子进程，可以用multiprocessing.Manager创建共享对象。Manager会在后台启动一个服务进程，负责协调进程间的数据同步。

示例： #

from multiprocessing import Manager

class Meta:
    # 用Manager的dict来存储需要共享的属性
    shared_data = None

def initialize_meta_db():
    # 主进程初始化共享数据
    Meta.shared_data["db_a"] = create_db_connection()
    Meta.shared_data["db_b"] = create_db_connection()

def runner():
    # 创建Manager实例
    manager = Manager()
    Meta.shared_data = manager.dict()
    
    initialize_meta_db()
    
    pool = multiprocessing.Pool(4)
    pool.map(worker, arg_list)
    pool.close()
    pool.join()

def worker(*args):
    print(Meta.shared_data["db_a"])  # 能获取主进程同步的最新值

注意：Manager的共享对象有一定性能开销，不适合频繁读写的场景。另外，数据库连接这类无法序列化的对象依然不能直接共享，还是需要子进程自己创建。

内容的提问来源于stack exchange，提问作者nonemaw