使用itertools.permutations处理大列表触发内存错误，求优化方案

问题根因分析 #

原来的代码存在两个核心内存占用过高的问题：

• 全排列的结果量级随输入数组长度呈阶乘级增长，14个元素的全排列共有14! = 87178291200条记录，即便每条只占10字节，总容量也超过800GB，不可能全量加载到内存
• 多余的DataFrame转换步骤进一步放大了内存开销，pandas存储结构化数据本身就比原生Python数据结构有额外的内存占用

可行优化方案 #

方案1：按需生成排列（避免全量加载，优先推荐） #

如果你的业务逻辑不需要一次性持有全部排列的字典，可以完全抛弃全量生成的逻辑，改用生成器按需计算排列，内存占用可以降到几乎为0：

import itertools
import numpy as np

def perm_generator(u_data):
    # 返回排列生成器，每次迭代返回一个排列元组，不预先生成全量结果
    return itertools.permutations(u_data)

# 业务使用示例
if __name__ == "__main__":
    cust_indices =[np.array([90,91]),np.array([100,101]),np.array([68,69]),np.array([1234372, 1234373, 1234374, 1234375, 1234376, 1234377, 1234378,1234379, 1234380, 1234381, 1234382, 1234383, 1234384, 1234385])]
    for arr in cust_indices:
        for perm in perm_generator(arr):
            # 这里写你的业务处理逻辑，处理完就丢弃当前排列，不占用额外内存
            last_elem = perm[-1]
            other_elems = perm[:-1]
            # 对应你原来的字典逻辑：key是最后一个元素，value是前面的元素，可以直接写入数据库/文件，不需要存在内存里

方案2：直接生成字典，跳过DataFrame中间步骤（适合输入数组长度≤10的场景） #

如果你的输入数组最大长度在10以内（10!是362万，内存可以承载），可以直接从排列生成器构建字典，完全去掉pandas的开销，内存占用可以降低70%以上：

import itertools
import numpy as np

def func(u_data):
    perm_dict = {}
    for perm in itertools.permutations(u_data):
        # 完全对齐你原来的set_index(最后一列)转字典的逻辑
        last = perm[-1]
        for idx, val in enumerate(perm[:-1]):
            if idx not in perm_dict:
                perm_dict[idx] = {}
            perm_dict[idx][last] = val
    return perm_dict

if __name__ == "__main__":
    cust_indices =[np.array([90,91]),np.array([100,101]),np.array([68,69])]
    temp_indices = list(map(lambda i: func(i), cust_indices))

方案3：分片+多进程落盘（适合需要全量排列且输入数组长度较大的场景） #

如果确实需要处理10个元素以上的全排列，采用分片生成+多进程处理+直接落盘的方式，完全规避内存瓶颈：

• 将全排列的生成任务按前缀规则拆分到多个进程
• 每个进程生成对应分片的排列后直接写入本地文件/对象存储，不保留在内存中
• 后续需要使用时再按分片读取处理

额外建议 #

阶乘级的复杂度是硬件无法突破的瓶颈，15个元素的全排列就算是1TB内存也无法承载，如果你的业务逻辑只需要部分排列而非全排列，优先调整业务逻辑减少排列生成的量级。

内容的提问来源于stack exchange，提问作者Sade