Python多进程使用imap_unordered时,x_list与y_list能否保持对应一致?
关于multiprocessing.Pool.imap_unordered返回结果对应性的确认
好问题!你完全不用顾虑imap_unordered会破坏单个任务返回结果的对应关系——你的期望是完全正确的。
核心逻辑说明
imap_unordered的“无序”仅指任务完成后返回结果的顺序和输入迭代器的顺序不一致,但它会完整保留每个任务调用f(x)后返回的结果结构。也就是说,每个任务返回的(x, x*x)元组会作为一个整体被传递出来,不会被拆分成独立的x和y元素分散返回。
结合你的代码分析
看你代码里的循环:
for x,y in pool.imap_unordered(f, range(4)): x_list.append(x) y_list.append(y)
每次迭代时,imap_unordered会给你一个完整的元组,你通过解包得到的x和y绝对属于同一个任务的计算结果。比如:
- 如果某个进程先完成了
x=3的任务,返回(3,9),那这次循环里x就是3,y就是9,会被同时追加到两个列表中,此时x_list的最后一个元素是3,y_list的最后一个元素是9,严格对应。 - 后续不管其他任务(比如x=1、x=2)的返回顺序如何,每一组
x和y都是绑定在一起的,绝不会出现x_list=[0,3,1,2]但y_list=[0,1,9,4]这种错位的情况。
简单来说:imap_unordered打乱的是任务结果的整体顺序,但不会拆分单个任务的结果结构,所以你的x_list和y_list的元素始终是一一对应的。
内容的提问来源于stack exchange,提问作者dipper
相关产品推荐
相关产品推荐

