Windows环境下Python 3.12多进程（Spawn上下文）死锁问题求助

嘿，我帮你找出问题所在啦！你的代码死锁主要有两个关键原因，咱们一步步拆解解决：

问题1：tqdm进度条与多进程提交任务的冲突 #

在Windows的Spawn上下文里，主进程用tqdm循环提交apply_async任务时，tqdm会频繁操作终端输出（用退格符更新进度条），这会占用stdout的系统锁，导致子进程启动时无法获取必要的系统资源，直接卡住不动——主进程这边就会无限等待get()返回，自然就死锁了。

问题2：apply_async + 逐个get()的低效且易出问题的写法 #

你现在的写法是先提交所有异步任务，再循环get()结果，不仅代码冗余，而且这种手动管理AsyncResult的方式很容易因为资源竞争出问题，不如直接用Pool的map/imap方法，它们是专门为批量并行任务设计的，更稳定高效。

修复后的完整代码 #

我把你的代码改了一下，解决了死锁问题，同时优化了写法：

import random
import multiprocessing
from tqdm import tqdm

def test_parallel(min_rng: int):
    # 把random导入移到模块级，子进程不用每次调用都重复导入
    return random.randint(min_rng, 100)

def bootstrap_test_parallel(n_tasks: int = 10_000, min_rng: int = 3, pool_size: int = max(1, multiprocessing.cpu_count() - 1)):
    if pool_size == 1:
        # 串行模式保留原有的tqdm逻辑
        results = []
        for _ in tqdm(range(n_tasks)):
            results.append(test_parallel(min_rng))
        return results
    else:
        # 并行模式用imap + tqdm，既高效又避免死锁
        with multiprocessing.get_context("spawn").Pool(pool_size) as pool:
            # 用imap批量提交任务，tqdm包装迭代器显示进度
            results = list(tqdm(pool.imap(test_parallel, [min_rng]*n_tasks), total=n_tasks))
        return results

if __name__ == "__main__":
    output_one = bootstrap_test_parallel(n_tasks=10, pool_size=1)
    print(output_one)
    
    output_two = bootstrap_test_parallel(n_tasks=10, pool_size=2)
    print(output_two)

额外的小建议 #

1. 尽量把模块导入放在代码最顶部（比如import random），不要在函数内部重复导入，尤其是多进程场景下，能减少子进程的启动开销。
2. 多进程任务优先用map/imap/starmap这类批量方法，比手动管理apply_async的AsyncResult要省心得多，也更不容易出问题。
3. 如果一定要用apply_async，别在提交任务的循环里用tqdm，可以把tqdm用在收集结果的循环上，比如：

   async_results = [pool.apply_async(test_parallel, args=(min_rng,)) for _ in range(n_tasks)]
   results = [ar.get() for ar in tqdm(async_results, total=n_tasks)]
   

这样修改后，你的代码应该就能正常运行啦！

内容来源于stack exchange