Python itertools.product生成组合内存溢出，求预检测重复元素方案

直接生成所有组合再过滤的方式会导致内存爆炸，核心优化思路是提前拦截无效组合，避免无意义的生成，以下是具体实现方案：

1. 实时迭代过滤，不预存所有组合 #

放弃先把itertools.product转为列表，改为逐个生成组合并实时检查重复，只保留符合要求的结果。这种方式内存占用极低，仅需存储当前处理的单个组合。

import itertools

def has_duplicates(combination):
    # 利用集合去重特性快速判断：长度不等则存在重复
    return len(set(combination)) != len(combination)

# 用生成器表达式替代列表，仅生成有效组合
valid_combinations = (comb for comb in itertools.product(*test) if not has_duplicates(comb))

# 按需处理结果（比如写入文件、计算逻辑），不需要一次性存入内存
for comb in valid_combinations:
    process_combination(comb)  # 替换为你的业务逻辑

2. 递归逐步构建组合，中途剪枝 #

不依赖itertools.product，递归地从每个子列表选元素，每添加一个元素就检查是否重复，一旦发现重复就终止当前分支的递归，彻底避免无效组合的后续生成。

def build_valid_combinations(sublists, current_comb=None):
    if current_comb is None:
        current_comb = []
    # 所有子列表处理完毕，返回当前有效组合
    if not sublists:
        yield tuple(current_comb)
        return
    # 遍历当前子列表的每个元素
    for num in sublists[0]:
        if num not in current_comb:
            # 递归处理下一个子列表，传递已选元素
            yield from build_valid_combinations(sublists[1:], current_comb + [num])

# 获取有效组合生成器
valid_combinations = build_valid_combinations(test)

# 逐个处理组合
for comb in valid_combinations:
    process_combination(comb)

3. 预处理子列表，减少无效分支 #

如果子列表本身存在重复元素，包含这些元素的组合必然无效，可以提前清理子列表内的重复值，从源头减少无效组合的生成：

# 预处理每个子列表，移除自身重复元素
test = [list(set(sublist)) for sublist in test]

额外优化建议 #

• 优先处理元素范围小、重复概率高的子列表，能更早剪枝无效分支，提升递归或迭代效率；
• 如果最终不需要保留所有组合，全程使用生成器（yield）而非列表，避免内存堆积；
• 若组合规模仍超出处理能力，可将结果分批写入磁盘，而非存于内存。

内容的提问来源于stack exchange，提问作者eepsu1