Python使用multiprocessing并行处理大量组合时出现MemoryError如何解决

问题根因 #

你遇到的内存溢出问题确实来自于代码环节将超大量数据存入了内存，核心原因如下：

• multiprocessing.Pool.starmap本身的设计逻辑：即便传入的是生成器，starmap也会先完整迭代整个可迭代对象，把所有任务的参数全部加载到内存中，再计算分块逻辑下发任务。你当前场景下有7亿条组合，哪怕单条参数仅占32字节，总参数占用就超过20GB，必然触发内存溢出。
• 固定参数冗余传输：你代码中n、set_size是所有任务共用的固定参数，每条任务都重复传输这两个值，额外放大了参数的内存占用。
• （Windows平台特有）子进程内存拷贝：Windows下multiprocessing默认使用spawn模式启动子进程，每个子进程会完整拷贝父进程的stabiliser_states等全量数据，多进程启动后会直接占用数倍的基础内存。

优化方案 #

1. 替换非懒加载的starmap为懒加载迭代接口 #

改用Pool.imap或Pool.imap_unordered接口，这两个接口不会预加载所有任务参数，只会在需要下发任务时才迭代生成器取对应参数，内存中仅会保留当前待处理的少量任务，从根本上解决参数全量加载的问题。
如果不需要返回结果保持任务提交的顺序，优先用imap_unordered，处理效率更高、内存占用更低。

2. 优化参数传递逻辑 #

将所有任务共用的固定参数用functools.partial预绑定到执行函数上，不需要每条任务都重复传递固定参数，进一步降低参数传输的内存开销。大体积的全局数据集stabiliser_states可以放在共享内存中，避免每个子进程重复拷贝。

3. 及时消费返回结果 #

懒加载接口返回的迭代器要逐行消费，不要等所有结果返回后再统一处理，避免返回结果堆积占用内存，可以边迭代边将结果写入磁盘或数据库。

修改后代码示例 #

import multiprocessing as mp
from itertools import combinations
from functools import partial

# 假设check_lin_dep原有定义为: def check_lin_dep(comb_val, n, set_size, comb_idx): ...
# 预绑定固定参数
n = 你的n值
set_size = 你的set_size值
bound_check = partial(check_lin_dep, n=n, set_size=set_size)

# 参数解包包装函数
def task_wrapper(comb_item):
    comb_idx, comb_val = comb_item
    return bound_check(comb_val, comb_idx)

if __name__ == "__main__":
    # 手动指定进程数，不要默认使用所有核心，避免内存占用过高
    with mp.Pool(processes=4) as pool:
        # 生成器仅传递变化的索引和组合值，内存占用极低
        task_iter = enumerate(combinations(stabiliser_states, set_size))
        # 用imap_unordered懒加载任务，chunksize可根据单任务执行速度调整
        lin_dep_iter = pool.imap_unordered(task_wrapper, task_iter, chunksize=1000)
        # 逐行消费结果，避免堆积
        for result in lin_dep_iter:
            # 自定义结果处理逻辑，比如写入文件、统计计数等
            process_result(result)

额外优化建议 #

如果任务量过大需要长时间运行，可额外加入断点续跑逻辑：给每个任务标注索引，每处理完一批任务就记录当前处理到的索引位置，程序中断后可以从对应位置直接继续生成组合，不需要从头开始重新跑。

内容的提问来源于stack exchange，提问作者MrLatinNerd