multiprocessing Pool无法收集全部进程输出，字典缺失及优化问题求助

核心问题 #

1. 共享字典结果不完整：使用Manager.dict()时，尽管它是进程安全的，但子进程直接修改共享字典可能因键重复（若entry_pairs[' '.join(entry)]生成重复键）、同步延迟导致部分结果被覆盖或未写入。
2. output数据冗余严重：reader函数每次返回整个outcomes字典，starmap会收集411个任务的返回值，每个都是完整字典，最终output包含411份重复的字典数据，造成内存浪费。

优化方案 #

放弃共享字典的方式，改为让子进程返回单个键值对，主进程统一合并结果，既避免进程间同步问题，又消除冗余数据。

修改后的代码 #

from multiprocessing import Pool

def reader(entry):
    # 保留原有的业务处理逻辑
    .............................................
    # 计算prediction
    prediction = min(distances) + (mlc_data[min(distances)[1]],)
    key = entry_pairs[' '.join(entry)]
    # 返回键值对元组
    return (key, prediction)

with Pool(3) as p:
    # 直接传入input[0]，每个任务处理一个entry
    results = p.map(reader, input[0])
    # 将结果列表转换为字典
    outcomes = dict(results)

关键说明 #

• 移除共享字典参数后，子进程无需跨进程修改共享变量，避免了竞态风险和同步开销，结果更可靠。
• p.map会收集所有子进程返回的键值对元组，主进程用dict(results)合并成最终字典，确保所有结果都被收集（前提是每个entry对应的key唯一）。
• 若确实需要实时监控进度而使用共享字典，需先确认每个key唯一，可在reader中添加日志打印，排查是否存在重复键或写入异常。

内容的提问来源于stack exchange，提问作者Vladislav