使用pool.apply_async异步处理无返回结果的问题求解

你的代码遇到的问题，大概率是Windows系统下多进程的启动机制导致的，当然也可能有其他小概率原因，我给你一步步分析和解决：

1. 最关键的修复：添加if __name__ == '__main__'保护 #

Windows系统中，multiprocessing采用spawn方式创建子进程，这会重新导入你的主脚本文件。如果没有这个判断，你的Pool创建和循环代码会被子进程重复执行，导致无限创建新进程，程序陷入死循环一直运行却无法返回结果。

修改后的完整代码应该是这样的：

import pandas as pd
from multiprocessing import Pool

def myfun(x, y, i ,j):
    # 替换成你实际的process data逻辑，这里用示例计算代替
    z = x + y
    return i, j, z

if __name__ == '__main__':
    # 模拟你的DataFrame，实际替换成你的真实数据
    df = pd.DataFrame({'data': [1,2,3,4,5,6,7,8,9,10]})
    
    pool = Pool(processes=4)
    res = []
    for i in range(10):
        x = df.loc[i, 'data']
        for j in range(i+1, 10):
            y = df.loc[j, 'data']
            res.append(pool.apply_async(myfun, (x, y, i, j)))
    
    # 先关闭池，不再接受新任务，然后等待所有子进程完成
    pool.close()
    pool.join()
    
    # 逐个获取结果
    for result_obj in res:
        print(result_obj.get())

2. 额外的优化和检查点 #

• 添加close()和join()：虽然get()方法会阻塞等待单个结果，但先调用pool.close()（禁止池接受新任务）和pool.join()（等待所有子进程执行完毕）可以确保所有任务都完成，避免主进程提前退出导致子进程被强制终止。
• 检查process data(x,y)函数：如果修复后还是卡住，那大概率是你的数据处理函数本身有问题——比如存在无限循环、阻塞IO（比如等待某个未响应的资源）、或者处理大量数据耗时极长。你可以先把process data替换成简单的计算（比如示例里的x+y），测试是否能正常返回结果，以此排查问题。
• 验证参数的可序列化性：multiprocessing需要把参数传递给子进程，所有参数必须是pickle可序列化的。pandas的DataFrame元素一般没问题，但如果你的x或y包含特殊对象（比如自定义的不可序列化类），会导致子进程无法启动，程序卡住。

内容的提问来源于stack exchange，提问作者Chan