Linux下Python如何高效将列表元素分配给8个进程执行函数

假设我有如下字符串列表：

a = ['string1', 'string2', ..., 'stringN']

我想在Linux环境下，针对规模适中的该列表，以最高效的方式利用8个进程，将列表中的N个字符串作为参数传入同一个函数执行。

为便于理解，该函数示例如下：

def some_function(a_string: str):
    f = open("my_enemy_list!.txt", "a")
    f.write(a_string)
    f.close()

我会使用互斥锁（mutex lock）避免写入冲突。

在Linux环境下用Python实现多进程批量处理，最直接高效的方式是借助标准库multiprocessing，以下是具体实现和说明：

1. 推荐方案：进程池+跨进程锁 #

利用Pool固定创建8个工作进程，搭配Manager.Lock()实现跨进程的文件写入互斥，代码简洁且开销低：

from multiprocessing import Pool, Manager

def some_function(a_string: str, lock):
    # 用锁包裹文件写入操作，避免并发冲突
    with lock:
        # 用with语句自动管理文件资源，避免泄漏
        with open("my_enemy_list!.txt", "a") as f:
            f.write(a_string)

if __name__ == "__main__":
    a = ['string1', 'string2', ..., 'stringN']
    # 通过Manager创建可跨进程共享的锁
    with Manager() as manager:
        lock = manager.Lock()
        # 初始化8个进程的进程池
        with Pool(processes=8) as pool:
            # 批量提交任务，每个任务传入字符串和锁
            pool.starmap(some_function, [(s, lock) for s in a])

2. 关键优化说明 #

• 进程池控制：processes=8固定进程数量，避免进程频繁创建销毁的额外开销，适配规模适中的任务列表。
• 跨进程锁：必须使用Manager.Lock()而非普通Lock()，因为普通锁无法在子进程间共享，Manager通过共享内存机制实现锁的跨进程生效。
• 文件操作优化：替换手动open/close为with语句，自动处理文件关闭；锁包裹整个文件写入流程，彻底杜绝并发写入导致的内容错乱。
• 任务提交方式：starmap支持传递多参数任务，比map更适配带锁的函数；若列表规模极大，可改用imap_unordered异步提交，减少内存占用。

3. 自定义任务分发方案（进阶） #

如果需要更灵活的任务调度逻辑，可手动创建8个进程，通过队列分发任务：

from multiprocessing import Process, Queue, Lock

def worker(task_queue, lock):
    while not task_queue.empty():
        a_string = task_queue.get()
        with lock:
            with open("my_enemy_list!.txt", "a") as f:
                f.write(a_string)
        # 标记当前任务完成
        task_queue.task_done()

if __name__ == "__main__":
    a = ['string1', 'string2', ..., 'stringN']
    task_queue = Queue()
    lock = Lock()

    # 填充任务队列
    for s in a:
        task_queue.put(s)

    # 创建并启动8个工作进程
    processes = []
    for _ in range(8):
        p = Process(target=worker, args=(task_queue, lock))
        p.start()
        processes.append(p)

    # 等待所有任务执行完毕
    task_queue.join()

    # 终止并回收进程资源
    for p in processes:
        p.terminate()
        p.join()

该方案适合需要自定义任务优先级、动态调整进程数的场景，但进程池方案更简洁高效，优先推荐。

内容的提问来源于stack exchange，提问作者John