multiprocessing.pool.MapResult._number_left返回值不符合预期的咨询

兄弟，你踩中了Python multiprocessing模块里一个容易混淆的私有属性坑——_number_left根本不是剩余待执行的单个任务数量，它是Pool内部用来跟踪的「未完成的任务块数」，而且这是个内部私有属性（下划线开头），官方本来就不推荐外部代码直接依赖它。

为什么你的观察和预期不符？ #

当你用Pool.map()处理任务时，Python会自动把任务分成若干个「块」（chunksize），每个工作进程一次处理一个块，而不是逐个处理单个任务。_number_left的初始值就是总块数，每完成一个块，这个数字就减1。

比如你说的10个进程、1000个任务的情况：默认情况下，Pool会计算出一个合适的chunksize（通常是任务数 // (4 * 进程数)，也就是1000//40=25），所以总块数是40。这就意味着_number_left一开始是40，随着每个块完成逐渐递减到0——这就是为什么你会看到和预期不符的数值变化。

那怎么正确跟踪剩余单个任务数？ #

既然_number_left不靠谱，还属于私有属性（未来版本可能修改行为），不如自己用共享计数器来实现：

import multiprocessing
import time

def do_something(x, counter):
    print(x)
    time.sleep(1)
    # 任务完成后安全递减计数器
    with counter.get_lock():
        counter.value -= 1

if __name__ == "__main__":
    total_tasks = 1000
    # 创建共享整数计数器，初始值为总任务数
    remaining_tasks = multiprocessing.Value('i', total_tasks)
    
    with multiprocessing.Pool(processes=10) as pool:
        # 用starmap传递计数器参数
        results = pool.starmap_async(do_something, [(x, remaining_tasks) for x in range(total_tasks)])
        
        # 循环跟踪剩余任务数
        while not results.ready():
            print(f"剩余任务数: {remaining_tasks.value}")
            time.sleep(0.5)
        print("所有任务完成")

关键提醒 #

• 永远不要依赖下划线开头的私有属性：这些属性是模块内部实现用的，没有官方文档保证其行为稳定，说不定哪天Python版本更新就变了。
• Pool.map()的分块机制是为了减少进程间通信的开销，毕竟逐个传递任务比传递块要低效得多，这也是为什么内部用块计数而非单个任务计数的核心原因。

内容的提问来源于stack exchange，提问作者Das.Rot