如何用multiprocessing.Pool().map实现等效for循环功能？

问题背景 #

你原本的单进程for循环逻辑很简单：遍历索引并把列表对应位置设为1，最终得到全1的列表：

List = [0, 0, 0, 0, 0]
numbers = range(5)
for i in numbers:
    List[i] = 1
print(List)  # 输出: [1, 1, 1, 1, 1]

但尝试用multiprocessing.Pool().map实现时，得到的是多个各自修改了单个位置的列表，而非合并后的结果：

import multiprocessing as mp
from functools import partial

def function(numbers, List):
    List[numbers] = 1
    return List

def function_pool(numbers, List):
    func_part = partial(function, List=List)
    result = mp.Pool().map(func_part, numbers)
    return result

if __name__ == '__main__':
    List = [0, 0, 0, 0, 0]
    numbers = range(5)
    result = function_pool(numbers, List)
    print(result)  # 输出: [[1,0,0,0,0], [0,1,0,0,0], ..., [0,0,0,0,1]]

你想知道：是否必须在进程池外处理结果，还是有内置方法直接实现？

问题根源 #

这是因为多进程之间的内存是完全隔离的：当你把List传递给子进程时，Python会对列表做一次「拷贝」，每个子进程修改的都是自己这份拷贝，而非主进程中的原列表。所以map会收集每个子进程返回的修改后的拷贝，最终得到多个独立的列表。

解决方案 #

方案1：在主进程合并结果（推荐，简单安全） #

不需要共享内存，让每个子进程返回要修改的索引和对应值，然后在主进程统一更新原列表。这是Pool.map最常用的模式，避免了多进程共享资源的竞争问题：

import multiprocessing as mp

def task(i):
    # 子进程只返回需要修改的索引和值
    return (i, 1)

if __name__ == '__main__':
    List = [0, 0, 0, 0, 0]
    numbers = range(5)
    
    with mp.Pool() as pool:
        # 用map收集所有(索引, 值)的元组
        results = pool.map(task, numbers)
    
    # 主进程统一更新列表
    for idx, val in results:
        List[idx] = val
    
    print(List)  # 输出: [1, 1, 1, 1, 1]

方案2：使用共享内存（适合复杂场景） #

如果一定要让子进程直接修改同一个共享列表，可以用multiprocessing.Manager提供的共享列表，它会在进程间同步状态。注意要确保操作的原子性（这里因为只是赋值，不需要额外加锁，但复杂操作需要）：

import multiprocessing as mp

def task(i, shared_list):
    shared_list[i] = 1

if __name__ == '__main__':
    with mp.Manager() as manager:
        # 创建一个可在进程间共享的列表
        shared_list = manager.list([0, 0, 0, 0, 0])
        numbers = range(5)
        
        with mp.Pool() as pool:
            # 用partial传递共享列表
            pool.map(mp.partial(task, shared_list=shared_list), numbers)
        
        # 把共享列表转成普通列表输出
        print(list(shared_list))  # 输出: [1, 1, 1, 1, 1]

总结 #

• 如果你只是实现这个简单的修改逻辑，方案1是最优选择：逻辑清晰，避免了共享内存的复杂度，且Pool.map的设计本身就是让子进程返回结果，由主进程汇总。
• 只有当你有更复杂的进程间共享数据需求时，才需要考虑方案2的共享内存方式。

内容的提问来源于stack exchange，提问作者Artur Müller Romanov