如何从starmap_async获取无序结果并优化性能？

你遇到的核心问题是starmap_async的.get()方法（包括其默认的批量回调逻辑）会按任务提交顺序整理结果，即使任务已经异步完成，也需要等待所有任务结束后再排序返回，这就导致它的性能和同步的starmap几乎一致。如果不需要结果有序，你可以用以下两种更高效的方式修改代码：

方案一：用apply_async逐个提交任务+实时回调 #

apply_async会为每个任务单独提交，任务完成后立刻触发回调函数收集结果，结果顺序为任务实际完成的顺序（无序），完全跳过排序开销：

import multiprocessing as mp

full_res = []

def return_result(result):
    full_res.append(result)

if __name__ == "__main__":
    # 替换为你的实际任务参数列表，比如 [(arg1, arg2), (arg3, arg4), ...]
    tasks = [(args), ...]
    
    with mp.get_context("spawn").Pool(5, maxtasksperchild=1000) as pool:
        for task_args in tasks:
            # 逐个提交任务，每个任务完成后调用return_result收集结果
            pool.apply_async(fun, args=task_args, callback=return_result)
        pool.close()
        pool.join()

方案二：用imap_unordered迭代获取结果 #

imap_unordered会实时返回已完成的任务结果，顺序为任务完成顺序，同样不需要等待所有任务结束或排序：

import multiprocessing as mp
from functools import partial

# 包装函数，用于解包参数元组
def func_wrapper(args_tuple, target_func):
    return target_func(*args_tuple)

if __name__ == "__main__":
    tasks = [(args), ...]  # 你的任务参数列表
    full_res = []
    
    with mp.get_context("spawn").Pool(5, maxtasksperchild=1000) as pool:
        # 用partial绑定目标函数，迭代获取完成的结果
        for result in pool.imap_unordered(partial(func_wrapper, target_func=fun), tasks):
            full_res.append(result)
    # with块会自动处理pool的关闭和join，无需手动调用

关键说明 #

• 原代码中starmap_async的回调函数是所有任务完成后才被调用一次，接收的是整个有序结果列表，本质还是要等待所有任务结束并排序，这是导致速度慢的核心原因。
• 上面两种方案都会在任务完成后立刻返回结果，完全跳过排序步骤，性能会大幅提升。

内容的提问来源于stack exchange，提问作者master_zhen