Python如何实现嵌套列表的选择性笛卡尔积并避免内存溢出问题

itertools.product 本身返回的是惰性迭代器，不会一次性生成所有元素存入内存，之前写法触发内存错误是因为直接用list()强制把全量结果转成了列表。你只要直接迭代该迭代器，逐个校验后再决定是否存储即可，完全可以避免无效数据占用内存的问题。

实现步骤如下：

• 先自定义校验规则函数，入参为itertools.product生成的单条有序元组，出参为布尔值，True代表符合保留条件
• 直接迭代itertools.product(*list_of_lists)，每条结果先过校验，符合条件再存入结果列表

完整示例代码：

import itertools

list_of_lists = [[0, 1, 2, 3, 4], [5], [6, 7],[8, 9],[10, 11],[12, 13],[14, 15],[16, 17],[18, 19],[20, 21],[22, 23],[24, 25],[26, 27],[28, 29],[30, 31],[32, 33],[34, 35],[36, 37],[38],[39]]

# 自定义校验规则，可根据实际需求修改
def is_valid(tuple_item):
    # 示例规则1：有序对中偶数数量≥10
    even_count = sum(1 for num in tuple_item if num % 2 == 0)
    if even_count < 10:
        return False
    # 示例规则2：有序对所有元素和不等于200
    if sum(tuple_item) == 200:
        return False
    return True

valid_scenarios = []
# 迭代过程中每次仅加载单条有序对，内存占用极低
for item in itertools.product(*list_of_lists):
    if is_valid(item):
        valid_scenarios.append(item)

优化提示 #

• 可以把校验规则按计算成本从低到高排序，不符合低成本规则的直接返回False，减少不必要的计算开销
• 如果后续不需要一次性持有所有符合条件的结果，可以边迭代边处理（比如直接写入文件、实时计算统计值等），连结果列表都不需要创建，内存占用会进一步降到仅存单条有序对的水平

内容的提问来源于stack exchange，提问作者Data Science Acolyte