如何用Python Multiprocessing并行化含多列表参数的函数？

嘿，这个问题抓得很准——既然对list1和list2的操作完全独立、互不干扰，确实非常适合并行化处理。我来分享几种用Python multiprocessing实现的方式，从简单直接到更适配批量场景的方案都有：

这种方式最直接，把两个独立操作分别封装成函数，然后启动两个子进程同时执行。

注意：进程间内存是相互隔离的，直接传递普通列表的话，子进程修改的只是副本，不会影响主进程里的原始列表，所以必须用共享内存容器，比如Manager提供的列表。

代码示例：

from multiprocessing import Process, Manager

# 把两个操作拆成独立函数
def update_list1(shared_list, iterable):
    idx = 2 * iterable
    shared_list[idx] *= 2

def update_list2(shared_list, iterable):
    idx = 2 * iterable + 1
    shared_list[idx] += 2

def parallel_function(list1, list2, iterable):
    with Manager() as manager:
        # 将普通列表转为可共享的列表对象
        shared_list1 = manager.list(list1)
        shared_list2 = manager.list(list2)
        
        # 创建两个进程，分别绑定对应的函数和参数
        p1 = Process(target=update_list1, args=(shared_list1, iterable))
        p2 = Process(target=update_list2, args=(shared_list2, iterable))
        
        # 启动进程
        p1.start()
        p2.start()
        
        # 等待两个进程都执行完毕
        p1.join()
        p2.join()
        
        # 转换回普通列表返回
        return list(shared_list1), list(shared_list2)

如果之后你需要处理多个iterable值，或者有更多独立的列表操作要并行，用进程池会更高效——它会预先创建好进程，避免频繁创建销毁进程的开销。

代码示例：

from multiprocessing import Pool, Manager

def process_single_task(task):
    shared_list, iterable, op_type = task
    if op_type == "list1":
        idx = 2 * iterable
        shared_list[idx] *= 2
    elif op_type == "list2":
        idx = 2 * iterable + 1
        shared_list[idx] += 2

def parallel_function_with_pool(list1, list2, iterable):
    with Manager() as manager:
        shared_list1 = manager.list(list1)
        shared_list2 = manager.list(list2)
        
        # 把两个操作打包成任务列表
        tasks = [
            (shared_list1, iterable, "list1"),
            (shared_list2, iterable, "list2")
        ]
        
        # 创建进程池，指定2个进程刚好处理两个任务
        with Pool(processes=2) as pool:
            pool.map(process_single_task, tasks)
        
        return list(shared_list1), list(shared_list2)

• 如果只是单次处理两个独立操作，方案1的Process就足够，代码更直观，没有额外的池化开销。
• 如果需要处理大量类似的独立任务（比如多个iterable值、更多列表操作），方案2的Pool更高效，因为进程可以复用。
• 要是你的列表是纯数值类型且规模很大，也可以考虑用multiprocessing.Array替代manager.list，它的性能会更好，但代码复杂度会稍高一些。

内容的提问来源于stack exchange，提问作者mmarah