Python分块启动子进程遇问题：无法按预期控制并发数

你的代码分块执行的逻辑本身是正确的——内层循环启动10个进程后，会等待所有进程结束才进入下一个分块。出现所有核心满载的情况，大概率是目标脚本本身的资源占用特性导致的，以下是具体排查方向和解决方法：

1. 验证分块逻辑是否正常运行 #

先给主脚本添加日志输出，确认分块执行的流程是否符合预期：

import subprocess

chunks = 10
it = 10
# 替换为你实际的program、option1、option2值
program = "python"
option1 = "./target_script.py"
option2 = ""

for i in range(chunks):
    print(f"=== 启动第{i+1}个分块 ===")
    procs = []
    for j in range(it):
        proc = subprocess.Popen([program, option1, option2])
        procs.append(proc)
        print(f"已启动进程PID: {proc.pid}")
    print(f"等待分块内所有进程结束...")
    [p.wait() for p in procs]
    print(f"第{i+1}个分块执行完成\n")

运行这段代码，如果日志显示先启动10个进程，等待全部结束后再启动下一批，说明分块逻辑没有问题，问题出在目标脚本上。

2. 检查目标脚本的CPU占用情况 #

如果目标脚本（program指向的文件）内部使用了多线程、多进程（比如multiprocessing.Pool()默认会占用所有核心），那么每个启动的子进程都会试图占用多个CPU核心，10个子进程叠加后就会占满10核。

解决方法：限制目标脚本的CPU使用 #

• 修改目标脚本：在目标脚本中明确限制使用的核心数，比如：

  import multiprocessing
  
  # 强制每个目标脚本进程只使用1个核心
  if __name__ == "__main__":
      multiprocessing.set_start_method("spawn")
      # 仅创建1个工作进程
      with multiprocessing.Pool(processes=1) as pool:
          # 你的业务逻辑代码
          pass
  

• 给子进程绑定CPU亲和性（适用于Linux/macOS）：在主脚本中启动子进程时，强制每个进程绑定到指定核心，避免跨核心占用资源：

  import subprocess
  import os
  
  def start_bound_process(cmd, core_id):
      # 绑定进程到指定核心
      proc = subprocess.Popen(cmd, preexec_fn=lambda: os.sched_setaffinity(0, {core_id}))
      return proc
  
  chunks = 10
  it = 10
  program = "python"
  option1 = "./target_script.py"
  option2 = ""
  
  for i in range(chunks):
      procs = []
      for j in range(it):
          # 分配第j个核心给当前进程
          proc = start_bound_process([program, option1, option2], j)
          procs.append(proc)
      [p.wait() for p in procs]
  

3. 其他可能的排查点 #

• 确认program、option1、option2变量是否正确赋值：如果变量指向错误的脚本或参数，可能导致意外的进程行为。
• 检查系统是否有其他占用CPU的进程：如果系统后台有其他高负载进程，也可能导致核心被占满。

内容的提问来源于stack exchange，提问作者jgpallero