itertools.tee拆分生成器的隐式内存消耗相关问题咨询

首先明确itertools.tee的底层运行逻辑：它拆分出来的多个迭代器会共享同一个原始生成器，同时为所有迭代器维护共享缓冲队列，已经被任意一个迭代器消费的元素，会暂时留在内存中，直到所有拆分出来的迭代器都遍历过该元素，才会被垃圾回收。

针对你代码中的几个疑问，答案如下：

• 你调用next(y)取出的第一个元素不能直接丢弃：因为你后续还要遍历x，这个元素会保留在tee的共享缓冲中，等x遍历到对应位置时返回给x，直到x也消费过该元素后才会被释放。
• 如果你后续完全消费x但全程不操作y：所有被x消费过的元素都会一直驻留在内存中，你示例中的生成器会产出1亿条数据，最终会直接占满内存。
• 如果你不需要再使用y，可以主动执行del y销毁该迭代器：此时tee仅需要维护x一个迭代器的进度，已经被x消费的元素会立刻被回收，不会产生额外的内存占用。

如果仅需要检测生成器是否为空，推荐优化写法如下：

from itertools import tee
def my_generator():
    yield from range(100000000)
x = my_generator()
x, y = tee(x)
try:
    next(y)
except StopIteration:
    # 生成器为空时的逻辑
    quit()
del y # 及时销毁不需要的迭代器，避免内存占用
# 正常消费x即可，无额外内存开销
for z in x:
    print(z) # 注意原代码此处写print(x)属于笔误

如果你确实需要同时遍历x和y两个迭代器，要注意尽量保持两个迭代器的遍历进度一致，进度差越大，缓冲中留存的元素就越多，内存占用也会越高。

内容的提问来源于stack exchange，提问作者OrenIshShalom