Python multiprocessing模块未调用函数问题求助

首先看你的代码，有个关键问题导致进程根本没并行起来，还可能引发后续的输出异常：

1. 错误的join()位置导致串行执行 #

你在循环里每启动一个进程就立刻调用p.join()，这会让主进程等待当前子进程完全结束后才会启动下一个进程，相当于串行执行，完全没用到多核并行。正确的做法是先把所有进程都启动，再统一等待它们结束：

if __name__ == '__main__':
    jobs = []
    for i in range(5):
        p = multiprocessing.Process(target=full_graph)
        jobs.append(p)
        p.start()  # 先启动所有进程
    # 等所有进程都启动后，再统一等待结束
    for p in jobs:
        p.join()

2. Windows + Spyder环境下的输出与文件问题 #

在Windows系统中，multiprocessing采用的是spawn方式创建子进程（而非Unix的fork），加上Spyder的控制台特性，会导致几个常见问题：

（1）控制台无输出 #

子进程的print输出默认不会显示在Spyder的主控制台里。你可以试试两种解法：

• 在创建进程时，显式设置stdout和stderr重定向到文件，比如：

  import sys
  p = multiprocessing.Process(target=full_graph, stdout=open(f"process_{i}_out.txt", "w"), stderr=open(f"process_{i}_err.txt", "w"))
  

  这样每个子进程的输出会写到单独的文件里，方便排查问题。
• 或者在Spyder的设置里开启"Enable support for multiprocessing"（具体路径：Tools > Preferences > IPython console > Graphics > 勾选相关选项），不过这个选项在旧版本的Spyder里可能位置不同。

（2）文件无生成/找不到路径 #

如果full_graph里用的是相对路径保存.txt文件，子进程的工作目录可能和主进程不一样，导致文件被保存到了你没注意到的位置。建议在保存文件时使用绝对路径，比如：

import os
# 获取当前脚本所在目录的绝对路径
script_dir = os.path.dirname(os.path.abspath(__file__))
# 拼接文件路径
file_path = os.path.join(script_dir, "your_data.txt")

3. 额外排查点 #

• 确认full_graph函数本身没有异常：单独调用full_graph()是否能正常生成图表和文件？如果单独调用都有问题，那并行时肯定也会出错，只是子进程的异常没被捕获显示。
• 可以在full_graph里加上异常捕获，把错误信息写到文件里，比如：

  def full_graph():
      try:
          # 你的原有代码
      except Exception as e:
          with open("error_log.txt", "a") as f:
              f.write(f"Process error: {str(e)}\n")
  

这样调整后，应该能看到子进程的执行情况，也能真正实现多核并行啦。

内容的提问来源于stack exchange，提问作者J.Barker