为何itertools.product遇无限生成器会OOM崩溃？如何解决？

尝试使用itertools.product生成两个数据流的组合：一个是标准列表，另一个是从实时API拉取数据的无限生成器。由于itertools主打“高效循环”与惰性求值，原以为它会无需加载所有数据到内存即可处理流，但启动循环后脚本内存占用瞬间飙升直至OOM崩溃。以下是导致进程崩溃的极简代码：

import itertools

def infinite_stream():
    i = 0
    while True:
        yield f"data_{i}"
        i += 1

# 此行会立即引发OOM崩溃
for item in itertools.product([1, 2], infinite_stream()):
    print(item)

为何作为“迭代器”的itertools.product遇到无限生成器会崩溃？如何无需加载整个流到内存即可处理这些组合？

itertools.product的实现逻辑是先把所有输入迭代器的数据缓存成元组，再生成笛卡尔积。当其中一个输入是无限生成器时，它会不断读取生成器的内容并缓存，直到耗尽内存——这完全违背了你对“惰性求值”的预期。

具体来说，product为了生成所有组合，需要先固定第一个输入的元素，再遍历第二个输入的所有元素；接着切换第一个输入的下一个元素，再次遍历第二个输入的全部元素。为了避免重复遍历第二个输入（尤其是当输入是只能迭代一次的生成器时），product会提前把第二个输入的所有内容加载到内存中保存。如果第二个输入是无限生成器，这个缓存过程就会无限进行，直接导致OOM。

要实现真正的惰性笛卡尔积，需要自己手动实现逻辑，避免提前缓存无限流的数据。核心思路是遍历无限流的每个元素时，实时和有限列表的元素组合，而不是先缓存无限流：

方案1：手动嵌套循环 #

这是最直观的方式，完全惰性，不会缓存无限流数据：

def infinite_stream():
    i = 0
    while True:
        yield f"data_{i}"
        i += 1

# 遍历无限流的每个元素，实时与列表元素组合
for stream_item in infinite_stream():
    for list_item in [1, 2]:
        print((list_item, stream_item))

这种方式会先输出(1, data_0)、(2, data_0)，接着(1, data_1)、(2, data_1)，以此类推，完全不会占用额外内存。

方案2：封装成惰性生成器函数 #

如果需要类似itertools.product的调用方式，可以封装成自定义生成器：

import itertools

def lazy_product(iterable1, iterable2):
    for item1 in iterable1:
        for item2 in iterable2:
            yield (item1, item2)

def infinite_stream():
    i = 0
    while True:
        yield f"data_{i}"
        i += 1

for item in lazy_product([1, 2], infinite_stream()):
    print(item)

注意：这里的lazy_product仅适用于两个输入的情况，如果需要支持更多输入，可以递归实现，但要确保只有最后一个输入是无限流（否则依然会出现提前缓存的问题）。

关键注意事项 #

• 当使用惰性笛卡尔积时，组合的顺序会和itertools.product不同：itertools.product会先输出所有第一个元素与第二个输入的组合，再输出第二个元素的；而惰性实现会按无限流的元素顺序，逐个生成与有限列表的组合。如果需要和原product一致的顺序，只能保证有限流作为第一个输入，无限流作为最后一个输入。
• 永远不要让itertools.product的非最后一个输入是无限流，否则依然会触发缓存导致OOM。

内容的提问来源于stack exchange，提问作者AstroBrick