使用multiprocessing Pool时如何传递可迭代对象的索引？

1. 解决索引传递问题 #

multiprocessing.Pool.map()仅支持传递单个参数给目标函数，要同时传入数组和索引，你可以改用pool.starmap()——它能自动解包元组作为函数的多个参数。具体步骤：

• 生成包含（共享数组/列表、索引）的元组列表，每个元组对应一次task调用的参数
• 将这个元组列表传入starmap()即可完成参数分发

2. 用数组存储并行结果的可行性 #

普通Python列表不可行，因为多进程拥有独立内存空间，子进程修改的只是列表副本，主进程无法同步获取结果。必须使用multiprocessing提供的共享内存容器，常用的有两种：

• multiprocessing.Array：基于ctypes的固定长度共享数组，性能较高
• multiprocessing.Manager().list()：可动态调整长度的共享列表，底层通过进程间通信实现，性能略低于Array

代码示例（用Array实现） #

import multiprocessing

def task(shared_arr, index):
    # 替换为你的实际计算逻辑
    result = index * 2
    # 写入共享数组对应索引位置
    shared_arr[index] = result

if __name__ == "__main__":
    N = 5
    # 创建int类型的共享数组，长度为N
    shared_arr = multiprocessing.Array('i', N)
    # 构造任务参数列表
    task_args = [(shared_arr, idx) for idx in range(N)]
    
    with multiprocessing.Pool() as pool:
        # 用starmap分发任务，自动解包元组参数
        pool.starmap(task, task_args)
    
    # 转换为普通列表查看结果
    print(list(shared_arr))  # 输出: [0, 2, 4, 6, 8]

代码示例（用Manager.list实现） #

import multiprocessing

def task(shared_list, index):
    # 替换为你的实际计算逻辑
    result = index * 3
    shared_list[index] = result

if __name__ == "__main__":
    N = 5
    with multiprocessing.Manager() as manager:
        # 创建初始值为0的共享列表
        shared_list = manager.list([0] * N)
        task_args = [(shared_list, idx) for idx in range(N)]
        
        with multiprocessing.Pool() as pool:
            pool.starmap(task, task_args)
        
        print(list(shared_list))  # 输出: [0, 3, 6, 9, 12]

内容的提问来源于stack exchange，提问作者intrigued_66