Python生成大规模组合内存不足 如何用磁盘/数据库存储替代内存列表

你设想的分批生成数据、写入持久化存储后清空内存批次的方案完全可行，是解决大体积中间结果内存溢出的常规思路，但不一定是最优解，具体选什么存储方案要匹配你后续访问数据的实际需求。

你当前的代码触发内存错误是必然的，问题出在三处：

• 直接将itertools.combinations返回的惰性迭代器强转为list，相当于一次性把set1的所有2元素组合、set2的所有8元素组合全加载进内存，这一步已经会占用大量RAM
• 双层循环拼接所有组合时，不断往full_sets列表追加数据，列表内存占用会随组合总数线性上涨：比如set2有30个元素时，8元素组合就有585万种，再乘以set1的2元素组合数，总数据量很容易达到几十GB规模，远超普通设备的内存上限
• 函数最终返回全量列表，后续处理时如果做复制、切片等操作，还会进一步放大内存占用

如果后续你只需要顺序遍历所有组合，不需要做条件筛选、随机位置访问、多进程共享读写，根本不需要引入数据库，用惰性迭代+本地分批写文件的方案性能最高、资源占用最少，内存可以稳定维持在几十MB级别，完全不会触发OOM。
实现逻辑如下：

1. 全程不把combinations的结果转成list，直接用迭代器逐次生成组合，不保留历史生成数据
2. 攒够固定大小的批次后写入本地文件，立刻清空内存中的批次缓存
3. 读取时逐行迭代加载，不一次性把全量文件读入内存

参考代码：

from itertools import combinations
import json

def permute_and_save(set1, set2, save_path="combos.jsonl"):
    set1_combos = combinations(set1, 2)
    set2_combos = combinations(set2, 8)
    batch = []
    batch_size = 10000  # 可根据内存情况调整，建议范围5000-50000
    with open(save_path, "w", encoding="utf-8") as f:
        for i in set1_combos:
            for j in set2_combos:
                current_combo = i + j
                batch.append(current_combo)
                if len(batch) >= batch_size:
                    # 批量写入磁盘
                    for item in batch:
                        f.write(json.dumps(item) + "\n")
                    batch.clear()
        # 写入最后不足批次大小的剩余数据
        if batch:
            for item in batch:
                f.write(json.dumps(item) + "\n")
            batch.clear()

# 读取时逐行迭代，不加载全量数据
def iter_combos(save_path="combos.jsonl"):
    with open(save_path, "r", encoding="utf-8") as f:
        for line in f:
            yield tuple(json.loads(line.strip()))

如果你对存储的组合数据有以下需求，再选择数据库方案更合适：

• 需要随机访问任意位置的组合，不需要从头遍历
• 需要按组合内的元素做条件筛选、分组、聚合查询
• 需要多进程/多线程同时读写这些组合数据
• 单份数据规模超过几十GB，需要更稳定的存储结构

这种场景优先选SQLite即可，不需要上来就部署PostgreSQL这类重量级服务：

• SQLite是文件型数据库，零配置不需要启动服务，运维成本为0
• 支持标准SQL语法，建索引后查询速度快，千万级数据量下性能够用
• 分批写入逻辑和写文件一致，攒够批次执行批量插入后提交即可

SQLite存储参考代码：

import sqlite3
from itertools import combinations

def permute_to_sqlite(set1, set2, db_path="combos.db"):
    conn = sqlite3.connect(db_path)
    cursor = conn.cursor()
    # 建表时可根据自己的元素类型调整字段类型
    cursor.execute("""
        CREATE TABLE IF NOT EXISTS combos (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            elem1 INTEGER,
            elem2 INTEGER,
            elem3 INTEGER,
            elem4 INTEGER,
            elem5 INTEGER,
            elem6 INTEGER,
            elem7 INTEGER,
            elem8 INTEGER,
            elem9 INTEGER,
            elem10 INTEGER
        )
    """)
    set1_combos = combinations(set1, 2)
    set2_combos = combinations(set2, 8)
    batch = []
    batch_size = 10000
    for i in set1_combos:
        for j in set2_combos:
            current_combo = i + j
            batch.append(current_combo)
            if len(batch) >= batch_size:
                cursor.executemany(
                    "INSERT INTO combos (elem1,elem2,elem3,elem4,elem5,elem6,elem7,elem8,elem9,elem10) VALUES (?,?,?,?,?,?,?,?,?,?)",
                    batch
                )
                conn.commit()
                batch.clear()
    if batch:
        cursor.executemany(
            "INSERT INTO combos (elem1,elem2,elem3,elem4,elem5,elem6,elem7,elem8,elem9,elem10) VALUES (?,?,?,?,?,?,?,?,?,?)",
            batch
        )
        conn.commit()
        batch.clear()
    conn.close()

只有当你需要多服务共享访问这批数据、单表数据量过亿时，才需要考虑PostgreSQL这类客户端/服务器架构的数据库。

• 无论选哪种存储方案，都不要把combinations返回的迭代器强转为list，迭代器本身是惰性生成值的，不会存储历史数据，是处理大数量级遍历场景的最优工具
• 批次大小不要设置过小，否则频繁IO会拖慢写入速度；也不要设置过大，否则还是会占用过多内存，根据自身设备情况调整即可
• 如果总组合量级达到十亿级以上，无论存文件还是数据库都会占用极高的磁盘空间，优先从业务逻辑层面过滤无效组合，不要全量生成存储。

内容的提问来源于stack exchange，提问作者JF44