Python在multiprocessing.Process子类中实例化threading.Thread子类报错问题

Windows环境下Python的multiprocessing默认使用spawn模式启动子进程，该模式下启动子进程时会自动序列化（pickle）父进程中Process实例的所有属性，传递给子进程重建对象。你在父进程的SubProcess.__init__方法中直接实例化了WorkerThread线程对象，线程实例内部自带不可序列化的_thread.lock锁对象，因此触发序列化失败的TypeError，后续的PermissionError是序列化失败后子进程启动异常的衍生错误。

核心原则是：不要在父进程的Process初始化方法中创建线程对象，将线程实例化操作放到子进程的run()方法中执行，这样线程对象完全在子进程上下文内创建，不需要跨进程序列化，从根源避免pickle错误。
如果需要动态修改工作线程的属性，可通过multiprocessing提供的可序列化共享变量传递参数和状态，支持跨进程读写。

import multiprocessing
import threading
import time

class SubProcess(multiprocessing.Process):
    def __init__(self, worker_init_params=None):
        multiprocessing.Process.__init__(self, daemon=True)
        # 仅存储可序列化的线程初始化参数，不实例化线程
        self.worker_init_params = worker_init_params or {}
        # 如需运行中动态修改属性，可预先定义可序列化的共享变量
        self.worker_shared_state = multiprocessing.Manager().dict({
            "running_flag": True,
            "dynamic_config": 0
        })

    def run(self):
        # 在子进程上下文内实例化工作线程，无需跨进程序列化
        self.workerThread = WorkerThread(**self.worker_init_params, shared_state=self.worker_shared_state)
        self.workerThread.start()
        self.workerThread.join()

class WorkerThread(threading.Thread):
    def __init__(self, shared_state, *args, **kwargs):
        threading.Thread.__init__(self, daemon=True)
        self.shared_state = shared_state
        # 其他自定义初始化参数可自行扩展

    def run(self):
        while self.shared_state["running_flag"]:
            # 业务逻辑可直接读取动态更新的shared_state参数
            current_config = self.shared_state["dynamic_config"]
            # 你的业务代码实现
            print(f"当前配置值：{current_config}")
            time.sleep(1)


if __name__ == '__main__':
    subProcess = SubProcess(worker_init_params={"custom_param": "test"})
    subProcess.start()

    # 演示动态修改工作线程属性
    for i in range(5):
        time.sleep(2)
        subProcess.worker_shared_state["dynamic_config"] = i
        print(f"父进程更新配置为：{i}")
    
    # 停止工作线程
    subProcess.worker_shared_state["running_flag"] = False
    subProcess.join()

上述示例中使用multiprocessing.Manager().dict创建的共享字典是进程安全、可序列化的，父进程对共享字典的修改可以实时同步到子进程内的工作线程中，完全满足你动态修改工作线程属性的需求。如果是简单数值类型的状态，也可以用multiprocessing.Value获得更高的读写性能。

内容的提问来源于stack exchange，提问作者CookieCruncher