如何调试包含ThreadPoolExecutor与ProcessPoolExecutor的Python代码？

一、ThreadPoolExecutor（线程池）调试 #

线程池的线程同属一个进程，主流调试工具均支持直接调试，但需开启线程调试相关功能：

• IDE（如PyCharm）调试：
  • 在调试配置中勾选「Allow parallel run」（或类似线程调试选项，不同版本位置略有差异）。
  • 将断点设在线程执行的函数内部，调试时通过面板的「Threads」标签切换目标线程，即可查看变量、单步执行。
• pdb命令行调试：
  • 以python -m pdb your_script.py启动代码调试。
  • 程序暂停时，用threads命令查看所有线程列表，再用thread <线程ID>切换到目标线程。
  • 切换后可使用next/step单步执行，p <变量名>查看变量值。

二、ProcessPoolExecutor（进程池）调试 #

进程池的子进程是独立Python实例，主进程断点无法直接同步，需针对性处理：

• 方法1：子进程内插入调试触发代码
  在子进程执行的函数开头添加调试器启动代码，强制子进程进入调试状态：

  def worker_task(arg):
      import pdb; pdb.set_trace()  # 子进程启动后自动停在此处
      # 业务逻辑代码
      result = arg * 3
      return result
  

  运行脚本后，每个子进程会在控制台等待调试输入，可直接在对应终端内设置断点、检查变量。注意IDE运行时需开启多终端支持，或直接用命令行启动脚本以查看子进程的调试交互。

• 方法2：结合IDE远程调试
  以PyCharm为例，先配置远程调试监听（端口可自定义，如12345），然后在子进程函数中插入连接代码：

  def worker_task(arg):
      import pydevd_pycharm
      pydevd_pycharm.settrace('localhost', port=12345, stdoutToServer=True, stderrToServer=True)
      # 业务逻辑代码
      return arg + 2
  

  启动IDE的远程调试监听后再运行脚本，子进程会自动连接调试器，此时即可在IDE中正常设置断点、调试子进程。

• 方法3：临时替换为线程池调试
  若业务逻辑无强进程隔离需求，可暂时将ProcessPoolExecutor替换为ThreadPoolExecutor，先完成逻辑调试，确认无误后再换回进程池。这种方式适合快速排查业务代码问题。

注意事项 #

• 多进程调试时，子进程的标准输入/输出可能与主进程共享终端，需注意区分不同进程的调试信息。
• 采用spawn方式启动子进程（Windows默认，Linux可通过multiprocessing.set_start_method('spawn')设置）时，子进程会重新导入脚本，调试代码需放在if __name__ == '__main__':之外的函数中，避免重复执行主逻辑。

内容的提问来源于stack exchange，提问作者KansaiRobot