Python内部函数yield实现,不修改data_source将循环转生成器
从回调式数据源到生成器的转换问题
基础生成器参考示例
def gen(): for i in range(5): yield i for n in gen(): print(n)
运行输出结果为:
0 1 2 3 4
现有回调式数据源实现
现有一个接收任意函数foo的data_source(foo)函数,它会自行完成迭代流程,并把每一步迭代得到的元素传入foo执行:
def foo(n: int): print(n) def data_source(foo): for i in range(5): foo(i) data_source(foo)
运行输出结果为:
0 1 2 3 4
核心需求
本次要解决两个核心问题:
- 掌握Python中跨函数作用域向外传值的实现方式
- 在不直接改写原有循环逻辑的前提下,把回调式循环转换为可直接迭代的生成器
场景约束:完全不修改data_source的原有实现,可以任意调整foo的逻辑,也可以对data_source做任意层级的封装,最终目标是让data_source改造后的对象可以直接被for循环遍历。
大家最初尝试的实现逻辑是给foo添加yield关键字向外传值:
def foo(n: int): yield n def data_source(foo): for i in range(5): foo(i) for i in data_source(foo): print(i)
但运行时会直接抛出报错:
TypeError: 'NoneType' object is not iterable
问题解答
报错原因
这个写法报错的根本原因是两个独立的作用域问题:
- 只要函数内部包含yield关键字,这个函数就是生成器函数,调用
foo(i)只会返回一个生成器对象,不会执行函数内部的逻辑,更不会把传递的值“上浮”到外层作用域 - 原来的
data_source没有定义任何return或yield语句,调用后的默认返回值就是None,自然无法被for循环迭代。
零侵入的实现方案
这个需求本质是同步回调流和生成器流的桥接,完全不需要改动data_source的任何一行代码,通过「跨线程队列传递值」的模式就可以实现,核心逻辑是把同步执行的回调流拆成边生产边消费的迭代流:
- 用同步队列在回调函数和外层生成器之间做值传递
- 把原来的
data_source丢到独立子线程执行,避免阻塞外层迭代 - 数据源执行完成后,向队列投递一个哨兵值,通知外层生成器结束迭代
具体可运行代码:
import threading import queue # 原有data_source实现完全保留,无任何修改 def data_source(foo): for i in range(5): foo(i) def data_source_to_generator(): # 初始化队列用于跨线程传递值 msg_queue = queue.Queue() # 定义哨兵值标记迭代结束,避免和真实数据混淆 END_SIGNAL = object() # 适配data_source的回调,收到值就写入队列 def callback_foo(n): msg_queue.put(n) # 子线程内执行原有数据源,完成后写入结束信号 def run_source(): try: data_source(callback_foo) finally: msg_queue.put(END_SIGNAL) # 启动子线程跑数据源 threading.Thread(target=run_source, daemon=True).start() # 外层生成器持续从队列取值,遇到结束信号就终止迭代 while True: current_value = msg_queue.get() if current_value is END_SIGNAL: break yield current_value # 直接迭代转换后的生成器即可拿到所有值 for i in data_source_to_generator(): print(i)
运行上述代码可以得到和原生生成器完全一致的输出结果。
补充说明:必须用独立子线程运行原有数据源的原因是,如果把data_source放在和生成器同一个线程内执行,它的同步循环会一口气跑完所有迭代步骤,根本没法边收回调边向外迭代值,子线程的作用就是把原本“一次性跑完”的同步逻辑,拆成生产-消费模型的流式迭代。
内容的提问来源于stack exchange,提问作者Gulzar
相关产品推荐
相关产品推荐

