如何从大集合中获取真子集并避免内存错误？

问题描述 #

我尝试通过以下代码获取整数的真子集：

set1 = [9,10]
set2 = [9, 10, 23, 26, 27, 28, 31, 32, 33, 36, 38, 41, 43, 45, 46]

allsubsets = set(chain.from_iterable(combinations(set2, ss) for ss in range(len(set1)+1, len(set2))))

但当set2的规模超过30时，allsubsets行出现内存错误，我希望优化代码以减少内存占用。
由于itertools combinations已是生成器函数，具备高效低内存特性，我明白内存错误是因将结果存入set导致。我尝试用itertools.islice()将可迭代对象拆分后处理，但仍需转为列表或集合保存，否则迭代器首次切片后会失效。
请问如何从大集合中获取真子集且不触发内存错误？

**更新：**我意识到若子集数量庞大，该方案不可行，仍会引发内存错误，尤其在需对其子集进行后续操作时，同时会带来时间和内存的双重高消耗。最佳方案是重新设计算法或代码，避免生成大量子集，具体调整方式取决于代码的预期结果。

解决方案 #

1. 流式处理子集，不存储全部结果 #

既然itertools.combinations是生成器，直接遍历每个生成的子集并即时处理，完全不需要将所有结果存入集合或列表：

from itertools import chain, combinations

set1 = [9,10]
set2 = [9, 10, 23, 26, 27, 28, 31, 32, 33, 36, 38, 41, 43, 45, 46]

# 流式遍历每个子集，处理后立即释放内存
for subset in chain.from_iterable(combinations(set2, ss) for ss in range(len(set1)+1, len(set2))):
    # 替换为你的实际处理逻辑，比如写入文件、计算统计值等
    print(subset)  # 示例操作

这种方式的内存占用始终维持在单个子集的大小，不会累积所有结果。

2. 按需生成+即时过滤，减少无效处理 #

如果不需要所有子集，可以在生成过程中直接过滤，只处理符合条件的部分：

from itertools import chain, combinations

set1 = {9,10}
set2 = [9, 10, 23, 26, 27, 28, 31, 32, 33, 36, 38, 41, 43, 45, 46]

# 只处理包含set1所有元素的子集
for ss in range(len(set1)+1, len(set2)):
    for subset in combinations(set2, ss):
        if set1.issubset(subset):
            # 处理符合条件的子集
            process_subset(subset)

3. 重新设计逻辑，跳过全量子集生成 #

当set2规模超过30时，符合你要求的子集数量会呈指数级增长（比如30个元素的集合，子集数量接近2^30），此时生成所有子集完全不现实。你需要基于最终目标重构逻辑：

• 检查存在性：用回溯法，找到符合条件的子集就立即终止，无需生成全部
• 统计计算：用数学公式推导结果，避免遍历所有子集
• 规则筛选：提前通过条件预判，减少不必要的子集生成

内容的提问来源于stack exchange，提问作者Ritu