如何协调itertools.product与multiprocessing？代码问题排查

你的多进程重构代码出现结果嵌套异常、内容随机的问题，核心原因出在全局变量的共享机制和结果收集方式上，具体拆解如下：

一、问题根源 #

• 全局变量不共享：多进程中每个子进程会复制主进程的内存空间，count和dobre2都是每个进程独立的副本，不是真正的全局共享。你在子进程里修改的count和dobre2，和主进程里的完全不是同一个东西，进程间的修改互不影响，最后汇总时自然会出现数据混乱和随机结果。
• 结果收集逻辑不匹配：原串行代码是把所有结果追加到同一个全局dobre2列表，而你重构后用pool.map收集每个foo的返回值，每个foo返回的dodane_pary会被单独放进结果列表，最终形成多层嵌套的结构，和预期的一维列表不符。

二、修复方案 #

要解决这个问题，我们需要：1. 用多进程安全的共享变量替代普通全局变量；2. 调整结果收集的逻辑，让主进程统一合并子进程的输出。

1. 使用共享计数器替代全局count #

用multiprocessing.Value创建跨进程共享的计数器，并且通过锁来保证修改时的原子性，避免多个进程同时修改导致的计数混乱。

2. 让子进程独立返回结果，主进程统一合并 #

去掉全局的dobre2，每个foo只处理自己的输入，返回对应的结果项，最后在主进程里把所有子进程的结果合并成预期的格式。

修改后的完整代码 #

import multiprocessing as mul
import itertools

def foo(args):
    i, shared_count = args
    current_result = []
    if tuple(reversed(i)) >= tuple(i):
        a = ['v{}'.format(x%2) for x in i]
        # 这里保留你原来的其余业务逻辑，生成dodane_pary
        # 替换成你实际的业务代码即可
        dodane_pary = [0,2,4,6]  # 仅为示例，替换为你的真实逻辑
        current_result.append(dodane_pary)
    
    # 安全修改共享计数器
    with shared_count.get_lock():
        shared_count.value += 1
    
    return current_result

if __name__ == '__main__':
    # 创建共享整数计数器，初始值为1
    shared_count = mul.Value('i', 1)
    # 把每个输入i和共享计数器打包成参数迭代器
    task_args = ((i, shared_count) for i in itertools.product(range(2), repeat=4))
    
    pool = mul.Pool(4)
    # 收集所有子进程的结果
    raw_result = pool.map(foo, task_args)
    pool.close()
    pool.join()
    
    # 合并结果，去掉空列表，得到预期的一维列表结构
    final_result = [item for sublist in raw_result for item in sublist]
    print(final_result)

三、额外说明 #

• 如果你不需要count这个计数器，直接去掉共享变量的部分即可，只保留结果合并的逻辑。
• pool.map会保证输出结果的顺序和输入迭代器的顺序一一对应，所以最终final_result的顺序是稳定的，不会随机混乱。

内容的提问来源于stack exchange，提问作者Tomasz Przemski