使用multiprocessing pool向空列表追加元素失败，求排查及替代方案

你遇到的问题核心是多进程的内存隔离机制：当使用Pool创建子进程时，每个子进程都会复制主进程的内存空间（包括empty列表）。子进程里执行empty.append(element)时，修改的只是自己副本里的列表，主进程的empty完全没被改动，所以最终打印出来是空的。

方法1：收集进程返回值（最推荐） #

让子进程处理元素后返回结果，利用Pool.map自动汇总所有返回值，这是最简洁且高效的方式，适合不需要共享状态的场景：

import numpy as np
from multiprocess import Pool

elements = np.arange(10)

def process_element(element):
    # 这里替换为你实际的元素处理逻辑，示例直接返回元素
    return element

with Pool(5) as p:
    result = p.map(process_element, elements)
    
print(result)

方法2：使用进程安全的共享列表 #

如果必须在进程间共享列表（比如需要实时追加元素），可以用multiprocessing.Manager创建可共享的进程安全列表：

import numpy as np
from multiprocess import Pool, Manager

def fill_list(element, shared_list):
    shared_list.append(element)

if __name__ == "__main__":
    elements = np.arange(10)
    with Manager() as manager:
        shared_empty = manager.list()
        with Pool(5) as p:
            # 用starmap传递多个参数给子进程函数
            p.starmap(fill_list, [(elem, shared_empty) for elem in elements])
        # 转换为普通列表打印
        print(list(shared_empty))

注意：Windows系统下必须加if __name__ == "__main__"，避免进程启动时的递归导入问题。

方法3：针对numpy数组的优化方案 #

如果你的场景是处理numpy数组，完全可以避开列表操作，直接用numpy的向量化操作或专用并行库（如numba），效率远高于多进程操作列表：

方案A：numpy向量化操作 #

import numpy as np

elements = np.arange(10)
# 直接对数组进行向量化处理，示例为复制数组，替换为你的实际逻辑
result = elements.copy()
print(result.tolist())

方案B：numba并行加速 #

import numpy as np
from numba import njit, prange

@njit(parallel=True)
def process_array(arr):
    result = np.empty_like(arr)
    # prange启用并行循环
    for i in prange(arr.shape[0]):
        result[i] = arr[i]  # 替换为你的元素处理逻辑
    return result

elements = np.arange(10)
result = process_array(elements)
print(result.tolist())

内容的提问来源于stack exchange，提问作者user106742