为什么创建大量子进程时spawn/exec调用耗时会显著增加？

耗时上升的核心原因如下： #

• 操作系统进程调度与上下文切换开销
  每创建一个子进程，操作系统都需要为其分配独立的PID、内存空间、文件描述符等资源。并行创建的进程数超过CPU核心数后，CPU需要在多个进程间频繁切换，每次切换都要保存/恢复进程运行现场，会额外占用大量CPU时间，直接拉长每个进程的等待和执行耗时。
• 进程创建的固有资源争抢
  spawn/exec调用本身需要完成父进程地址空间复制、加载Python解释器镜像、初始化进程运行环境等一系列操作，并行发起大量这类调用时，系统的内存分配、磁盘I/O资源会出现争抢，单个调用的完成时间自然被拉长。
• 测试用例的特性放大了开销影响
  你用到的Python程序只有打印Hello World的极简逻辑，进程总耗时里进程创建、调度的开销占比接近100%，没有业务逻辑的CPU占用去分摊这部分开销，所以并行数上升时耗时增长的表现会格外明显。另外控制台标准输出是共享资源，大量进程同时向stdout写数据也会产生锁竞争，额外增加耗时。
• Node.js线程池容量限制
  Node.js的异步子进程调用是交给libuv线程池处理的，默认线程池大小仅为4，当你并行发起的进程调用数超过线程池大小时，后续的调用会进入队列等待，不会立刻被执行，这也是低并行数阶段耗时上升非常快的核心原因之一，你可以通过修改UV_THREADPOOL_SIZE环境变量调整线程池大小验证该影响。

内容的提问来源于stack exchange，提问作者Neo