Python asyncio 协程并发异常:Websocket发布者心跳与数据发送无法并行
问题根因
- 核心阻塞点:协程内调用了同步阻塞的队列读取方法
你在send_data协程中直接调用的self.queue.get(),是Python标准库queue.Queue的同步阻塞接口。该方法会永久挂起当前线程,直到队列有可读取的数据,完全不会将执行控制权交还给asyncio事件循环。只要协程执行到这行代码,同个事件循环下的所有其他协程(包括你的心跳ping任务)都永远得不到调度机会。
这也是你不管调换asyncio.gather()里的协程顺序,都只有第一个任务能运行的原因:如果先启动ping,它完成第一次30秒休眠让出控制权后,会立刻被send_data里的阻塞queue.get()卡死;如果先启动send_data,它一执行就被queue.get()阻塞,连ping的第一次休眠调度都触发不了。 - 次要不规范:事件循环启动逻辑存在冗余
你的run()方法中先对传入的loop执行run_until_complete(),紧接着又调用asyncio.get_event_loop().run_forever(),如果前后获取的loop实例不一致,容易出现调度异常。 - 小细节偏差:自定义的字符串'ping'不属于Websocket协议标准的心跳控制帧,容易被服务端识别为普通业务消息,达不到保活效果。
代码调整方案
核心思路是移除协程内的同步阻塞调用,把控制权主动交还给事件循环,让两个协程能被正常调度。
- 调整线程运行时的事件循环启动逻辑,统一使用同一个loop实例,避免重复初始化:
def run(self): # 将传入的loop设为当前线程的默认事件循环 asyncio.set_event_loop(self.loop) try: self.loop.run_until_complete(self.publish()) finally: # 任务退出后正常关闭loop self.loop.close()
- 修改
send_data协程,把阻塞的队列读取改成非阻塞模式,队列空时主动让出执行权:
async def send_data(self, websocket): while True: try: # 非阻塞从队列取数据,队列空时直接抛出Empty异常 msg = self.queue.get_nowait() if msg is None: print("No message") break # 序列化后发送业务消息 await websocket.send(json.dumps(msg)) except queue.Empty: # 队列无数据时休眠0.1秒,主动把控制权交还给事件循环 await asyncio.sleep(0.1) except websockets.exceptions.ConnectionClosedError: print("Connection closed") break
注意需要在文件头部导入import queue模块,用于捕获队列空时抛出的Empty异常。
3. 优化心跳协程,使用Websocket协议标准的ping控制帧发心跳,避免被服务端误判:
async def ping(self, websocket): while True: await asyncio.sleep(30) print("[%s] Pinging server..." % datetime.now()) # 用websockets库内置的ping接口发协议帧,替代原来的字符串'ping' await websocket.ping()
- 原
publish方法里的asyncio.gather()调用本身逻辑没有问题,保持原有写法即可,两个协程在没有阻塞的情况下会被事件循环正常并发调度。
额外优化提示:websockets库本身内置了自动心跳保活机制,初始化连接时传入
ping_interval=30, ping_timeout=10参数,就不需要自己手写ping协程,也能达到防止50秒超时断连的效果。
内容的提问来源于stack exchange,提问作者dbm
相关产品推荐
相关产品推荐

