Python ProcessPoolExecutor提交实例方法无法修改实例变量问题

ProcessPoolExecutor从来没有要求传入的必须是纯函数，实例变量修改不生效的本质是多进程的内存隔离机制：
ProcessPoolExecutor的工作逻辑是启动独立的子进程执行任务，提交任务时，传入的绑定实例方法a.method以及对应的实例a会被序列化后拷贝到子进程的独立内存空间。子进程内执行self.started = True修改的是子进程本地那份实例拷贝的属性，和主进程里的原始实例a完全处于不同的内存地址空间，主进程实例的started属性从始至终没有被改动，自然保持初始值False，最终触发断言失败。

作为对比，ThreadPoolExecutor基于多线程实现，所有线程共享所属进程的同一块内存空间，提交实例方法执行时可以直接修改原实例的属性，不会出现这类问题。

from concurrent.futures import ProcessPoolExecutor


class A:
    def __init__(self):
        self.started = False

    def method(self):
        print("Started...")
        self.started = True


if __name__ == "__main__":
    a = A()

    with ProcessPoolExecutor() as executor:
        executor.submit(a.method)

    assert a.started

运行输出：

Started...
Traceback (most recent call last):
  File "/path/to/file", line 19, in <module>
    assert a.started
AssertionError

• 用返回值同步状态：这是最通用、性能最好的方案。不要在子进程任务里直接修改实例属性，将任务的执行结果通过return返回，主进程通过future.result()拿到结果后，再手动更新原实例的对应属性即可。
• 跨进程共享状态：如果业务逻辑确实需要多个进程共同修改同一份状态，可以使用multiprocessing模块提供的共享内存对象、Manager代理等跨进程通信组件实现，注意这类方案会引入额外的序列化、进程同步开销，非必要不推荐使用。
• 按需替换为线程池：如果你的任务是IO密集型（比如接口请求、磁盘读写），不需要利用多核CPU跑计算密集型逻辑，直接替换为ThreadPoolExecutor即可，线程池不存在内存隔离问题，实例属性的修改可以正常生效。

内容的提问来源于stack exchange，提问作者Keto