Windows下Python多进程代码运行失败求助（Linux/Jetson可正常运行）

问题现象 #

• 多进程代码在Noteable平台、Python 3.11的Nvidia Jetson设备上正常运行
• Windows系统（Python 3.8/3.11）执行失败，报错ValueError: min() arg is an empty sequence，说明共享字典V_dict未被填充，子进程未正常执行
• 单进程模式下代码功能正常

报错详情 #

ValueError                                Traceback (most recent call last)
Cell In[7], line 4
      1 if __name__ == '__main__':
      3     V_10k = multi_process_mc_prediction(sample_policy,num_processes=4, num_episodes_per_process=100)
----> 4     plotting.plot_value_function(V_10k, title="10,000 Steps")

File MC\..\lib\plotting.py:32, in plot_value_function(V, title)
     28 def plot_value_function(V, title="Value Function"):
     29     """
     30     Plots the value function as a surface plot.
     31     """
---> 32     min_x = min(k[0] for k in V.keys())
     33     max_x = max(k[0] for k in V.keys())
     34     min_y = min(k[1] for k in V.keys())

ValueError: min() arg is an empty sequence

核心多进程代码 #

def multi_process_mc_prediction(policy, num_processes, num_episodes_per_process):
    manager = Manager()
    V_dict = manager.dict()  # Shared dictionary for storing results

    processes = []
    for i in range(num_processes):
        #print("i =", i)
        p = Process(target=mc_prediction, args=(policy, num_episodes_per_process, 1.0, V_dict))
        processes.append(p)
    for p in processes:
        #print("p start")
        p.start()
    for p in processes:
        p.join()  # Wait for all processes to finish
        print("lenV ", len(V_dict))

    V = dict(V_dict)
    return V

解决方案 #

1. 严格遵循__name__ == '__main__'包裹逻辑 #

Windows下multiprocessing默认使用spawn启动模式，会重新导入主脚本。若没有if __name__ == '__main__':判断，子进程会重复执行主脚本中的进程创建逻辑，导致子进程无法正常运行目标函数。确保所有启动多进程的代码都在该判断块内。

2. 确保mc_prediction函数可被子进程访问 #

mc_prediction函数必须定义在主模块的顶层（不能嵌套在if __name__ == '__main__':块内部），或者在子进程能导入的独立模块中，否则子进程会因找不到函数而执行失败。

3. 验证policy对象的序列化兼容性 #

传递给子进程的policy对象必须支持pickle序列化。可以通过以下代码测试：

import pickle
pickle.dumps(policy)

若报错，需修改policy的定义，移除不可序列化的属性（如文件句柄、未序列化的自定义类实例等），或实现自定义的pickle方法。

4. 添加子进程错误日志排查 #

在mc_prediction函数中添加异常捕获，打印错误信息，确认子进程是否执行异常：

def mc_prediction(policy, num_episodes, gamma, V_dict):
    try:
        # 原有业务逻辑
        # ...
    except Exception as e:
        print(f"子进程执行异常: {str(e)}")
        import traceback
        traceback.print_exc()

5. 显式指定启动方式（可选） #

在主脚本开头显式设置启动方式，避免潜在的兼容性问题：

from multiprocessing import set_start_method

if __name__ == '__main__':
    set_start_method('spawn')
    # 调用multi_process_mc_prediction等逻辑

原因说明 #

Linux类系统默认使用fork启动模式，会直接复制父进程的内存空间，子进程可直接访问父进程的变量和函数；而Windows使用spawn模式，会启动全新的Python解释器并重新导入主模块，因此对代码结构和序列化的要求更严格。

内容的提问来源于stack exchange，提问作者Fireyan