为何Windows下Python多进程启动耗时远长于Linux？求优化方案

首先得明确核心原因：Windows和Linux的进程创建机制完全不同。Linux默认用fork模式，直接复制父进程的地址空间，启动极快；而Windows默认用spawn模式，每个子进程都会重新启动一个Python解释器，从头加载整个程序的模块和初始化代码，哪怕硬件配置更高，这种机制本身就会带来明显的启动开销。

下面是几个实用的优化方法：

1. 必须用if __name__ == '__main__':包裹主进程代码 #

这是Windows下使用multiprocessing的基本要求，却也是很多人忽略的点。spawn模式下，子进程会重新执行整个脚本，如果没有这个判断，子进程会重复创建进程，不仅浪费资源，还会大幅增加启动时间，甚至触发死循环。

修改你的代码结构，把进程创建、启动的逻辑都放到这个判断块里：

import multiprocessing
import time

def process1Tasks():
    # 你的任务逻辑
    pass

# 其他processXTasks函数...

if __name__ == '__main__':
    p1 = multiprocessing.Process(target=process1Tasks)
    # 其他进程创建...
    
    time1 = time.time()
    p1.start()
    # 其他进程启动...
    time2 = time.time()
    print(time2 - time1)

2. 减少子进程的模块加载开销 #

spawn模式下，子进程会加载脚本里所有全局导入的模块。如果你的脚本全局导入了很多大模块（比如numpy、pandas），哪怕子进程用不到，也会被加载，拖慢启动速度。

解决办法：

• 把非必要的模块导入放到if __name__ == '__main__':块里，只有主进程加载；
• 把目标函数需要的模块，延迟导入到函数内部：

def process1Tasks():
    # 只在需要时才导入模块
    import pandas as pd
    # 你的任务逻辑
    pass

3. 改用multiprocessing.Pool代替手动创建多个Process #

手动逐个启动Process会重复触发spawn的初始化流程，而Pool会预先创建好一组进程，后续任务直接复用这些进程，避免了重复创建的开销。如果你的任务是批量可并行的，用Pool的效率会高很多：

if __name__ == '__main__':
    tasks = [process1Tasks, process2Tasks, ..., process10Tasks]
    
    time1 = time.time()
    with multiprocessing.Pool(processes=10) as pool:
        # 用apply_async提交所有任务
        results = [pool.apply_async(task) for task in tasks]
        # 等待所有任务完成（如果需要的话）
        for res in results:
            res.get()
    time2 = time.time()
    print(time2 - time1)

4. 尝试forkserver启动方式（Python 3.4+支持） #

forkserver模式会先启动一个轻量的服务器进程，之后所有子进程都从这个服务器进程fork出来，避免了每次spawn都重新加载整个Python环境。这种模式的启动速度介于fork和spawn之间，适合Windows环境：

if __name__ == '__main__':
    # 必须在创建任何进程之前设置启动方式
    multiprocessing.set_start_method('forkserver')
    
    # 后续的进程创建、启动逻辑...

5. 清理全局初始化代码 #

如果你的脚本全局有大量初始化操作（比如创建大对象、执行复杂计算），spawn模式下每个子进程都会重复执行这些代码，导致启动时间飙升。把这些代码移到if __name__ == '__main__':块里，或者延迟到函数内部执行。

内容的提问来源于stack exchange，提问作者Vaibhav Sharma