Python多进程模块运行停滞异常问题求助

问题现象 #

以下代码会无限运行且无任何报错，但移除create_model()调用，或者修改process_image的参数数量及对应的args传递方式（即使修改的内容原本是冗余的），代码就能正常结束。

最小复现代码 #

#!/usr/bin/env python3

import multiprocessing

import numpy as np
from skimage import io
from sklearn.cluster import KMeans

def create_model():
    sampled_pixels = np.random.randint(0, 255, (800,3))
    kmeans_model = KMeans(n_clusters=8, random_state=0).fit(sampled_pixels)

def process_image(test, test2):
    image  = np.random.randint(0, 255, (800,3))
    kmeans_model = KMeans(n_clusters=8, random_state=0).fit(image)
    image = kmeans_model.predict(image)

def main():
    create_model()
    with multiprocessing.Pool(1) as pool:
        pool.apply_async(process_image, args=('test', 'test'))
        pool.close()
        pool.join()

if __name__ == "__main__":
    main()

有效修改方式 #

1. 移除main()中的create_model()调用
2. 修改函数定义与参数传递：

   def process_image(test):
       # 内部逻辑不变
   

   并将pool.apply_async改为：

   pool.apply_async(process_image, args=('test',))
   

   （注：原提问中写的args=('test')是语法小错误，实际应为元组形式args=('test',)，但即使写错也能运行）

原因分析 #

核心问题出在Unix系统下multiprocessing.Pool默认的fork启动模式，与scikit-learn的KMeans模型底层线程资源的冲突：

• fork模式创建子进程时，会完整复制主进程的内存空间，但不会复制活跃线程的状态，主进程中已运行的线程在子进程中处于无效状态。
• KMeans.fit()会通过threadpoolctl初始化OpenMP线程池来加速计算，当主进程先调用create_model()完成KMeans拟合后，这些线程资源已被初始化并处于活跃状态。后续fork出的子进程尝试再次运行KMeans.fit()时，会因为继承了无效的线程状态，引发资源竞争或死锁，最终导致子进程卡住，表现为程序无限运行无报错。

为什么冗余修改能解决问题 #

• 移除create_model()：主进程未初始化任何KMeans相关的线程资源，子进程从头启动并初始化资源，状态完全正常。
• 修改参数与传递方式：本质上不是参数本身的问题，而是当函数参数数量变化时，子进程的调用逻辑未触发到与主进程残留线程资源的冲突路径；更关键的是，若主进程未提前运行create_model()，无论参数如何都不会出现问题。

解决方案 #

1. 将模型初始化移至子进程内部：避免主进程提前创建涉及多线程的模型，所有KMeans相关操作都放在子进程函数中执行。
2. 强制使用spawn启动模式：spawn模式会从头启动新的Python解释器，不会继承主进程的线程状态，彻底避免fork带来的资源冲突：

   if __name__ == "__main__":
       multiprocessing.set_start_method('spawn')
       main()
   

3. 限制OpenMP线程数：在主进程中提前设置环境变量，避免多线程资源冲突（仅适用于Unix系统）：

   import os
   os.environ["OMP_NUM_THREADS"] = "1"
   

内容的提问来源于stack exchange，提问作者Suuuehgi