Python multiprocessing Pool进程全局变量绑定机制及修改可行性问询

底层原因 #

Python multiprocessing 创建的子进程拥有独立的虚拟地址空间，和父进程完全隔离。子进程启动时会拿到父进程创建子进程瞬间的内存快照，之后父进程和子进程对各自内存的修改都不会互相影响，这是操作系统层面的进程隔离机制，和Python本身无关。
不同平台的进程启动逻辑略有差异，但核心隔离特性一致：

• Unix类平台默认使用fork方式启动子进程，采用写时复制机制，只读内存页会在父子进程间共享，只有发生写入操作时才会真的复制
• Windows和高版本macOS默认使用spawn方式启动子进程，会启动全新的Python解释器进程，重新导入模块、复制父进程启动参数对应的状态

实验现象解释 #

第一段测试代码 #

你在循环外创建Pool，创建Pool时父进程的全局变量x的值为0，所有子进程启动时拿到的x快照都是0。后续循环中你修改的是父进程自己的x，子进程完全感知不到，所以所有返回结果都是0。

第二段测试代码 #

你把Pool的创建放到了循环内，注意你的代码顺序是先创建Pool，再修改x的值：

• 第一轮循环i=0：先创建Pool，此时父进程的x还是初始值0，创建完Pool再把x赋值为0，子进程拿到的x是0，输出全0
• 第二轮循环i=1：先创建Pool，此时父进程的x是上一轮赋值的0，创建完Pool再把x赋值为1，子进程拿到的x是0，输出全0
• 第三轮循环i=2：先创建Pool，此时父进程的x是上一轮赋值的1，创建完Pool再把x赋值为2，子进程拿到的x是1，输出全1
  和你给出的运行结果完全吻合。

你的问题解答 #

• 已经创建完成的子进程确实无法通过父进程修改全局变量的方式重新绑定x的值。如果需要同步修改，必须使用专门的进程间通信机制（比如multiprocessing.Value、Manager、共享内存等）。
• 每个子进程都会有独立的x副本，默认情况下父子进程对x的修改完全互不影响。

业务场景优化建议 #

你的场景是只读的大型pandas DataFrame，完全可以利用进程的只读共享特性降低内存消耗：

• 如果你的程序运行在Unix类平台，保持默认fork启动方式即可，只要不在子进程中修改x，所有子进程会共享同一份物理内存，不会重复复制占用空间
• 如果需要兼容Windows/macOS，可以用pandas 1.4以上版本提供的共享内存功能，把DataFrame放到共享内存块中，所有子进程直接读取即可，避免多份复制

内容的提问来源于stack exchange，提问作者Harry Braviner