使用multiprocessing Process库处理长列表无输出问题求助

你的代码没有输出的核心原因是：multiprocessing.Process创建的子进程与主进程内存完全隔离，some_func的返回值不会主动传递回主进程，主进程自然无法获取处理后的结果。

另外你提供的列表拆分代码存在变量未定义的问题，先修正拆分逻辑（假设你的原始超长列表为big_list）：

ncore = 4
size = 100
big_list = list(range(ncore * size))  # 替换为你的实际超长列表
vectors = []
for icore in range(ncore):
    start = icore * size
    end = start + size
    vectors.append(big_list[start:end])  # 按等份拆分列表

以下是两种可行的解决方案：

方案1：使用Queue传递结果 #

通过multiprocessing.Queue让子进程将处理结果存入队列，主进程从队列中取出并汇总：

from multiprocessing import Process, Queue

def some_func(vector, result_queue):
    # 替换为你的实际if/for处理逻辑
    processed_data = [val * val for val in vector]
    result_queue.put(processed_data)

if __name__ == "__main__":
    ncore = 4
    size = 100
    big_list = list(range(ncore * size))
    vectors = [big_list[i*size : (i+1)*size] for i in range(ncore)]
    
    result_queue = Queue()
    procs = []
    
    for vec in vectors:
        proc = Process(target=some_func, args=(vec, result_queue))
        procs.append(proc)
        proc.start()
    
    # 等待所有子进程完成
    for proc in procs:
        proc.join()
    
    # 汇总队列中的结果
    final_result = []
    while not result_queue.empty():
        final_result.extend(result_queue.get())
    
    print(final_result)

方案2：使用Pool简化操作 #

multiprocessing.Pool是更易用的高层API，无需手动管理进程和队列，适合批量拆分处理场景：

from multiprocessing import Pool

def some_func(vector):
    # 替换为你的实际处理逻辑
    return [val * val for val in vector]

if __name__ == "__main__":
    ncore = 4
    size = 100
    big_list = list(range(ncore * size))
    vectors = [big_list[i*size : (i+1)*size] for i in range(ncore)]
    
    with Pool(ncore) as pool:
        # 批量处理所有子列表
        processed_parts = pool.map(some_func, vectors)
    
    # 合并处理后的子列表
    final_result = []
    for part in processed_parts:
        final_result.extend(part)
    
    print(final_result)

关键注意事项 #

• 必须用if __name__ == "__main__":包裹主进程逻辑，这是Windows系统多进程的强制要求，Linux/macOS下也建议添加以避免潜在问题。
• 确保some_func中处理的数据可被Python的pickle机制序列化（大部分内置类型和自定义类都支持）。

内容的提问来源于stack exchange，提问作者user9165100