Python multiprocessing无打印无休眠问题排查及返回值获取

问题描述 #

编写了test3函数并通过multiprocessing.Process创建多进程执行，但函数既不打印计算结果，也无法获取返回值。尝试添加flush=True、延长sleep时间等操作均无效。

定义的test3函数 #

def test3(x):
    y=0;
    for ix in range (0,x):
        y=y+ix*2
        
    print(y,flush=True) # 尝试强制刷新输出仍无效
    time.sleep(1);
    
    return y;

多进程执行代码 #

import multiprocessing
cores = multiprocessing.cpu_count()
print(cores)

start =time.time()

p1=multiprocessing.Process(target=test3,args=(100000000,))
p2=multiprocessing.Process(target=test3,args=[100000000]) # 尝试不同的参数传递方式
p1.start()
p2.start()

p1.join()
p2.join()

finish =time.time()
print(f"Finished in {round(finish-start,2)} seconds()")

问题原因 #

1. 缺失模块导入：代码中使用了time.time()和time.sleep()但未导入time模块，子进程执行时会触发NameError异常直接崩溃，根本无法完成计算、打印和返回值的步骤。
2. 子进程输出捕获限制：在Windows或部分运行环境中，子进程的print输出不会自动同步到主进程控制台，即便加了flush=True，也会因进程提前崩溃而无法执行到打印逻辑。
3. 返回值无法直接获取：multiprocessing.Process本身不提供返回值存储功能，必须借助进程间通信机制（如队列、管道）传递结果。

修复方案与返回值获取 #

步骤1：补全必要导入 #

在代码开头添加import time，避免子进程因找不到模块崩溃。

步骤2：用队列传递返回值（基础修复） #

通过multiprocessing.Queue实现子进程与主进程的通信，同时捕获异常避免进程静默崩溃：

import multiprocessing
import time

def test3(x, queue):
    try:
        y = 0
        for ix in range(x):
            y += ix * 2
        print(y, flush=True)
        time.sleep(1)
        queue.put(y)
    except Exception as e:
        print(f"子进程出错: {e}", flush=True)
        queue.put(None)

if __name__ == "__main__":
    cores = multiprocessing.cpu_count()
    print(cores)

    start = time.time()

    # 创建队列用于传递返回值
    queue1 = multiprocessing.Queue()
    queue2 = multiprocessing.Queue()

    p1 = multiprocessing.Process(target=test3, args=(100000000, queue1))
    p2 = multiprocessing.Process(target=test3, args=(100000000, queue2))

    p1.start()
    p2.start()

    p1.join()
    p2.join()

    # 获取子进程返回值
    result1 = queue1.get()
    result2 = queue2.get()
    print(f"进程1返回值: {result1}")
    print(f"进程2返回值: {result2}")

    finish = time.time()
    print(f"Finished in {round(finish-start,2)} seconds")

步骤3：用Pool简化多进程管理（进阶方案） #

如果是批量执行同类任务，multiprocessing.Pool更易用，自带返回值收集功能：

import multiprocessing
import time

def test3(x):
    y = 0
    for ix in range(x):
        y += ix * 2
    print(y, flush=True)
    time.sleep(1)
    return y

if __name__ == "__main__":
    cores = multiprocessing.cpu_count()
    print(cores)

    start = time.time()

    with multiprocessing.Pool(processes=cores) as pool:
        results = pool.map(test3, [100000000, 100000000])

    print(f"所有进程返回值: {results}")
    finish = time.time()
    print(f"Finished in {round(finish-start,2)} seconds")

关键注意事项 #

• 必须用if __name__ == "__main__":包裹主进程代码，这是Windows系统下多进程的强制要求，避免子进程重复执行主逻辑。
• 子进程的异常要手动捕获处理，否则进程崩溃后不会有任何提示信息。
• 若控制台仍看不到子进程输出，可尝试将输出重定向到文件，或使用logging模块替代print，确保日志能被正常记录。

内容的提问来源于stack exchange，提问作者ShoutOutAndCalculate