Python 3 Windows环境下进程间变量共享方案与异常排查

一、Windows下Python3进程间共享变量方案 #

你需要共享的两类对象可以用以下方案实现：

1. 共享mmap对象 #

Windows平台的mmap原生支持跨进程共享，你只需要在主进程创建mmap时指定tagname参数，子进程中使用相同的tagname重新打开mmap即可直接访问，读写逻辑和普通mmap操作一致，注意额外加读写锁避免竞态问题即可。

2. 共享进度统计字典 #

针对你的嵌套整数结构字典，两种实现方案可选：

• 低复杂度方案：使用multiprocessing.Manager提供的同步容器，先创建manager = multiprocessing.Manager()，外层progress字典用manager.dict()创建，内层每个连接对应的子字典也用manager.dict()生成即可，Manager会自动处理进程间的数据同步和锁控制，适合你这种更新频率不极高的业务场景。
• 高性能方案：把所有统计字段拆成multiprocessing.Value（单值）或multiprocessing.Array（数组）存储，搭配独立的互斥锁控制更新，性能比Manager方案高3~10倍，但代码改造量更大。

二、交互式shell下multiprocessing报错疑问解答 #

1. 为何__name__同为'main'，脚本和shell运行表现不同？ #

Windows平台下Python的multiprocessing默认使用spawn启动模式，创建子进程时会重新启动一个独立的Python解释器，导入父进程的__main__模块执行初始化逻辑。独立脚本运行时__main__模块对应磁盘上的.py文件，子进程可以读取到完整的模块代码；而交互式shell的__main__模块是内存中的动态上下文，没有对应的磁盘存储文件，子进程启动时无法读取到模块内容，就会触发EOF错误。

2. pickle为何在交互式shell中无法序列化顶层定义的函数？ #

pickle序列化函数时不会存储函数的完整执行代码，只会存储函数所属的模块名和函数名称，反序列化时会到对应模块中查找同名函数导入使用。交互式shell中定义的函数仅存在于当前会话的内存态__main__模块中，子进程的新解释器的__main__模块没有该函数的定义，反序列化时找不到对应对象就会抛出PicklingError。

3. __main__的本质是什么，如何在交互式shell中访问对应的模块对象？ #

__main__是Python解释器启动后第一个加载的顶层模块的固定名称，无论是脚本运行还是交互式会话，入口模块的__name__属性都会被设置为__main__。你在交互式shell中直接执行import __main__就可以拿到对应的模块对象，你在shell中定义的所有变量、函数都会存储在该模块的__dict__属性中。

4. multiprocessing是否真的不支持在Python交互式shell中运行？ #

并非完全不支持：Windows下默认spawn模式会触发上述序列化问题，Linux/macOS下切换到fork启动模式即可正常使用。Windows平台下你也可以把要传给子进程的函数、变量都放到独立的.py模块中导入使用，不要在shell顶层定义，也能规避大部分报错。你将start()改为run()能正常运行的原因是run()不会创建新的子进程，直接在当前进程执行目标函数，不会触发跨进程序列化逻辑，所以不会报错。

内容的提问来源于stack exchange，提问作者Ξένη Γήινος