asyncio异步通信测试:如何减少await asyncio.sleep(0)调用、保留Node同步接口
核心问题解答
asyncio 调度逻辑澄清
完全不需要等待所有协程都进入阻塞状态,事件循环才会调度新创建的任务。
asyncio 属于协作式调度模型,调度规则非常简单:
- 只有当前正在执行的代码块主动让出控制权(比如碰到未就绪的
await、调用asyncio.sleep(0)、遇到真实的IO等待),事件循环才会按顺序执行就绪队列里已经排好的任务 - 你现有代码里需要多次写
await asyncio.sleep(0),本质是嵌套了多层create_task调用,每一层新建的后台任务都需要一次控制权让出才能被调度执行,并非事件循环有特殊的“全阻塞才调度”规则。
可以对照现有代码的实际执行时序理解为什么会需要多次sleep:
- 测试代码同步调用
node.send_encrypted_message()时,仅把send_encrypted_message_impl协程包装成Task丢进事件循环的就绪队列,协程本身一行代码都没执行,这个同步方法就返回了 - 第一次执行
await asyncio.sleep(0)让出控制权后,事件循环才开始运行impl协程:impl执行到self.send_get_nonce()时,又会创建一个发送NONCE消息的Task丢进就绪队列,之后impl碰到await asyncio.wait_for(self.nonce, 3)进入阻塞等待状态,控制权回到测试代码 - 第二次执行
await asyncio.sleep(0)让出控制权后,事件循环才会运行那个发送NONCE的后台Task,把消息追加到messages列表里,这时候你才能对NONCE_GET做断言
后续收到nonce触发加密消息发送的流程同理,每一层嵌套的create任务,都需要一次控制权让出才能跑通,所以才需要零散写好几个sleep(0)。
单次驱动后台任务的实现方法
不需要改动Node的对外非async接口,只要在测试侧加一个统一的“刷就绪任务”辅助函数即可,逻辑是循环让出控制权,直到所有非当前测试的待运行任务都跑到阻塞点,完全不用自己数要写几个sleep:
async def flush_ready_tasks(): while asyncio.all_tasks() - {asyncio.current_task()}: await asyncio.sleep(0)
用这个函数替换零散的sleep(0)后,测试代码可以大幅简化:
@pytest.mark.asyncio async def test_communication(): global messages node = Node() node.send_encrypted_message() await flush_ready_tasks() # 仅一次调用,即可跑完所有嵌套的后台任务,直到impl阻塞等待nonce assert messages.pop() == "NONCE_GET" node.receive_nonce(123) await flush_ready_tasks() # 仅一次调用,即可跑完后续的加密消息发送流程 assert messages.pop() == "ENCRYPTED_MESSAGE 123"
现有实现的设计缺陷与优化方向
当前代码可以跑通主流程,但存在几个容易引发线上问题的隐患:
- 单次Future的复用bug:当前在
__init__里初始化的self.nonce是仅能使用一次的Future,第一次被set_result后,第二次发送加密消息时,await self.nonce会直接拿到上次的旧值,根本不会重新发起NONCE请求。正确的设计是每次发起加密通信流程时,新建一个独立的nonce Future,不要在实例初始化时写死 - 野任务的回收风险:直接调用
asyncio.create_task但不保存任务引用的写法,可能导致任务在运行到一半时被垃圾回收(asyncio对任务仅保留弱引用),而且后台任务抛出的异常会被静默丢弃,生产环境很难排查问题。建议在Node内部加一个统一的任务创建入口,把任务引用存在实例的集合里,搭配done回调做异常监听和引用清理,这个改动完全不影响对外的非async接口 - 测试隔离问题:用模块级的全局
messages列表存测试消息,多个测试串行/并行运行时会出现消息串扰,导致偶发断言失败。建议把messages改成pytest fixture,每个测试单独初始化 - 超时窗口错位:当前的超时计时是从代码走到
await wait_for的点开始算的,不是从“NONCE请求发送出去”的时间点开始算的,如果任务调度延迟导致NONCE请求晚了几秒才发出去,实际的超时等待窗口会被压缩,出现该超时不超时的问题
内容的提问来源于stack exchange,提问作者Roman
相关产品推荐
相关产品推荐

