使用asyncio队列的消息处理类 测试时实例方法补丁为何在worker取消息后失效
补丁在worker协程挂起恢复后失效的核心原因
这个问题和asyncio的任务隔离、类方法的查找逻辑都没有关系,本质是测试代码的协程调度时序导致patch的上下文被提前销毁,触发了补丁的自动回退。
逐行拆解执行时序
我们按照事件循环的实际调度顺序,把整个流程拆成一步步的执行节点,就能看清失效的触发逻辑:
- 测试函数被
@patch装饰器包裹,进入patch的作用域,此时MessageQueueHandler.do_stuff已经被替换为你写的mock方法,补丁处于生效状态。 - 测试函数内部实例化
MessageQueueHandler对象。 - 执行
await handler.start():- 内部通过
asyncio.create_task(self.worker())创建worker协程任务,但不会立刻执行 - 遇到
await asyncio.sleep(0),主动让出当前协程的控制权,事件循环将调度刚创建的worker任务
- 内部通过
- worker任务第一次被调度运行:
- 执行第一行
print(self.do_stuff):此时补丁仍在生效,打印内容是mock方法的绑定对象,和你看到的第一行实际输出完全匹配 - 接下来执行
msg = await self.queue.get():当前消息队列为空,这个await操作会让worker协程主动挂起,把控制权交回给测试函数
- 执行第一行
- 控制权回到测试函数,执行
handler.queue_msg("foo")将消息放入队列 - 关键失效节点:测试函数没有任何等待worker处理消息的后续逻辑,直接执行完毕
@patch装饰器检测到被包裹的测试函数执行完成,立刻触发清理逻辑,将MessageQueueHandler.do_stuff恢复为原生的原始方法——补丁到此已经被完全拆除
- 事件循环调度之前挂起的worker任务:
- 因为队列已经存在待处理消息,之前挂起的
queue.get()操作立刻返回获取到的"foo" - 执行第二行
print(self.do_stuff):此时类方法已经被恢复为原生版本,所以打印内容是原方法的绑定对象,和你看到的第二行实际输出完全匹配
- 因为队列已经存在待处理消息,之前挂起的
常见认知误区
很多开发者会误以为patch会全局持续到测试进程退出,但实际上unittest.mock.patch的生命周期完全绑定在它所包裹的上下文范围:
- 如果是装饰器形式,生命周期从被装饰函数执行开始,到被装饰函数执行结束立刻触发回退
- 如果是with代码块形式,生命周期从进入with块开始,到退出with块立刻触发回退
不管外部还有多少未执行完成的协程、任务,只要patch绑定的代码块执行完成,就会立刻执行回退逻辑,不会等待其他异步任务完成。
修复方案
要让补丁在worker协程处理消息的全程保持生效,核心是保证patch的上下文范围能够覆盖worker处理消息的全流程,常见的调整方式有三种:
- 在测试函数内补充协程让出的逻辑,让测试函数不要在worker处理完消息前就退出patch的作用域:
@pytest.mark.asyncio @patch('message_queue_handler.MessageQueueHandler.do_stuff', new=mock_do_stuff) async def test_patch_do_stuff(): handler = MessageQueueHandler() await handler.start() handler.queue_msg("foo") # 让出一次控制权,让worker完成入队消息的处理,再退出测试函数 await asyncio.sleep(0)
- 对时序要求更严格的场景,可以在worker类中引入
asyncio.Event作为处理完成的信号锁,在测试函数中等待事件被触发后再退出,避免依赖sleep的时序不确定性。 - 如果需要补丁覆盖整个异步测试会话的范围,可以将patch逻辑从单个测试函数的装饰器,提升到pytest的fixture层,通过fixture的yield机制管理补丁的生命周期,让补丁的回退时机延迟到整个测试流程完成之后。
内容的提问来源于stack exchange,提问作者grin0048
相关产品推荐
相关产品推荐

