为何Python multiprocessing比多实例运行同程序更慢？

1. 进程间数据传递的巨大开销 #

使用multiprocessing时，你需要将大列表拆分后传递给子进程。这个过程涉及数据序列化（如pickle）和跨进程内存复制——大列表的序列化/反序列化本身就会消耗大量CPU和时间，内存复制也会占用系统资源。反观独立Python脚本的方式，每个脚本直接从文件读取数据并处理自己的分片，完全不需要在进程间传递大体积数据，彻底规避了这部分开销。

2. 进程启动与初始化的差异 #

• 在multiprocessing的spawn启动模式（Windows默认、Linux可配置）下，每个子进程都需要重新导入整个Python环境和模块，甚至会复制父进程的部分内存空间，额外增加了启动成本。
• 而通过bash启动的独立脚本，进程是完全独立初始化的，不需要继承父进程的冗余内存数据，启动和初始化的开销更低。

3. 内存访问效率的差异 #

当使用multiprocessing传递大列表时，子进程中的数据是父进程数据的副本，可能会导致CPU缓存命中率下降。而独立脚本读取文件后的数据属于各自进程的独立内存空间，数据访问更高效，尤其是在CPU密集型的检查操作中，缓存效率对性能影响显著。

补充：隐性的资源竞争或同步开销 #

如果你的检查操作涉及外部IO（比如读取其他资源），multiprocessing的进程间同步逻辑可能会隐性增加耗时；而独立脚本之间完全独立，不存在这类资源竞争问题。

内容的提问来源于stack exchange，提问作者Tgumtree