使用numpy预分配数组的生成器结合zip时yield同引用异常问题求解

fun2符合预期是因为它的逻辑是当场消费生成器产出的值：每次从raw生成器拿到数组引用时立刻执行打印，此时numbers生成器还未进入下一次循环修改底层数组的存储值，所以输出正确。
fun1异常的核心问题出在zip(*add_ten(nums))这一步：zip(*xxx)会先完全迭代完所有生成器内容，把结果缓存为两个静态元组。迭代add_ten时，第一个返回值始终是同一个numpy数组的引用，4次迭代结束后该数组的最终值为[3]，因此元组g1里存储的4个引用全指向这个值为3的数组，打印结果全是[3]；而第二个返回值是d+10，numpy数组做加法会生成新的独立数组对象，不会被后续修改影响，所以g2的数值是正常的。你补充的fun3和fun1逻辑完全一致，所以输出也和fun1相同。

你需要兼顾预分配内存、避免频繁分配，同时支持多分支流水线滞后消费，有两个成熟可行的方案：

方案1：按需做数组拷贝，实现最低改造成本 #

如果只有部分分支需要经过多阶段滞后消费，只在对应产出节点做浅拷贝即可，性能损耗极低：

def add_ten(gen):
    for d in gen:
        # 仅对需要滞后消费的第一个返回值做拷贝，保证多阶段访问值不被覆盖
        yield d.copy(), d+10

如果所有分支都有滞后消费的需求，也可以直接在numbers生成器返回时做拷贝，你可以根据流水线的分支逻辑灵活选择拷贝的节点。

方案2：用生成器拆分避免预先缓存，实现最高内存效率 #

如果你的流水线可以调整为多分支并行迭代，不要用zip(*xxx)提前把所有值存入内存，直接用itertools.tee拆分生成器，保证所有分支共用同一个迭代步，完全不需要拷贝数组：

from itertools import tee

def fun1_pipeline():
    nums = numbers()
    # 拆分生成器为两个独立迭代源，互不干扰
    gen_for_g1, gen_for_g2 = tee(add_ten(nums), 2)
    # g1走对应流水线阶段
    g1 = raw(a for a, _ in gen_for_g1)
    # g2走多阶段流水线处理
    g2 = (b for _, b in gen_for_g2)
    g2 = raw(b + 1 for b in g2) # 模拟多阶段处理逻辑
    # 同步迭代两个分支输出
    for n1, n2 in zip(g1, g2):
        print(n1, n2)

该方案内存效率最高，要求两个分支的迭代速度基本匹配，不会出现某一个分支提前迭代完所有内容的情况。

内容的提问来源于stack exchange，提问作者Franz Forstmayr