ProcessPoolExecutor跨平台差异问询：Linux单进程为何仍提速？

核心代码 #

import asyncio
from concurrent.futures import ProcessPoolExecutor
....

def Calculate(arg1, arg2):
    ...
    logging.info(<stuff>)

async def main():
    with ProcessPoolExecutor() as executor:
        for _ in range(10):
            executor.submit(Calculate, 1, 2)
    logging.info(<stuff>) 

if __name__ == '__main__':
    asyncio.run(main())

运行现象 #

• Linux服务器：删掉if __name__ == '__main__':代码块后程序仍能正常运行，日志显示所有Calculate()调用和主代码处于同一线程，但计算速度明显提升。机器为10核CPU，Python能识别核心数，调试时调用栈出现“subprocesses”字样。
• Windows 10设备：必须保留if __name__ == '__main__':代码块，否则会启动多个子进程，每个子进程都会重新初始化模块并再次执行asyncio.run，最终报错。

疑问与解答 #

1. 这一现象的原因是什么？ #

根源是Windows和Linux的进程创建机制完全不同：

• Linux用fork()创建子进程，会直接复制父进程的内存空间，子进程继承父进程已加载的所有模块状态，不会重新执行整个脚本。所以哪怕没加if __name__ == '__main__':，子进程也不会重复执行asyncio.run(main())。
• Windows没有fork()，子进程是通过全新启动Python解释器的方式创建的：它会重新导入整个脚本，执行所有顶层代码。如果没加if __name__ == '__main__':，子进程就会再次触发asyncio.run(main())，导致无限创建子进程、重复初始化的报错。

2. 为何Windows 10使用多进程而Linux未使用？ #

你被日志误导了——Linux肯定用了多进程。Linux下ProcessPoolExecutor默认用fork方式启动子进程，这些子进程继承了父进程的日志配置，日志只输出线程ID未输出进程ID，看起来像是同一线程，但实际上是多个独立进程在运行。Windows的spawn方式创建的子进程是全新实例，日志会区分进程，所以你能明显看到多进程痕迹。

3. Linux下单进程运行为何仍能提速？ #

这是误解，Linux根本不是单进程运行。10核CPU下，ProcessPoolExecutor默认会创建和核心数匹配的10个子进程，这些进程并行执行Calculate任务，充分利用多核CPU性能，所以计算速度会大幅提升。你看到的“同一线程”只是日志未输出进程ID，混淆了进程和线程的概念。

4. 若Linux下所有代码都在主线程运行，为何调用栈中会出现“subprocesses”？ #

因为Linux确实创建了子进程，调用栈里的“subprocesses”就是真实多进程的证据。日志显示“同一线程”是因为子进程继承了父进程的日志设置，未打印进程ID导致误判。调试时的调用栈反映的是真实运行情况，和日志的差异只是日志配置的问题。

内容的提问来源于stack exchange，提问作者Alexei Andronov