Zerorpc客户端连接不可达服务累计超时超1000次后卡死在gevent Channel.put()
卡死成因分析
这个1000次的固定卡死阈值,本质是Python2环境下旧版Zerorpc的已知缺陷,由断连场景下的消息泄漏和ZeroMQ默认参数共同导致,逻辑链路非常清晰:
- 旧版Zerorpc底层基于ZeroMQ DEALER socket实现客户端通信,这类socket的默认发送高水位(SNDHWM)刚好是1000条消息。当服务端完全不可达时,客户端没有有效对端来消费已经写入的消息,所有发出去的请求都会永久堆在ZeroMQ的内部发送缓冲区,没有消费路径就不会被清空。
- 复现代码里每次调用都能正常捕获超时异常,这个超时只是Zerorpc在调用侧挂了一个定时器,到点了就抛异常中断等待——但这个定时器根本不会清理已经塞到发送队列里的请求消息。负责把队列里的消息真正发出去的后台协程,因为一直连不上服务端,根本不会运行到队列清理的逻辑,这些残留的消息就一直在缓冲区里累加计数。
- 等缓冲区堆积的消息数凑够1000条的默认高水位,ZeroMQ就会停止接收新的写入请求。而Zerorpc封装的
_send_queue.put()方法,在等待缓冲区空位的时候,没有绑定发送阶段的超时逻辑,协程就会永久挂在等待状态,刚好对应调用堆栈里看到的卡在gevent.queue.Channel.put()的现象。
可行的解决方法
- 最省事的临时绕开:把全局复用单Client的写法,改成每次调用新建临时Client、用完立刻关闭的模式。这样每次调用用的都是全新的空发送队列,从根源上不会残留跨调用的堆积消息,改完的核心逻辑大概是这样:
count = 0 while True: print(count) try: c = zerorpc.Client(timeout=0.1) c.connect("tcp://192.168.33.12:4242") print(c.hello("RPC", async=False)) c.close() except zerorpc.exceptions.TimeoutExpired as e: print(e) count += 1 - 调低缓冲区阈值降低影响:初始化Client的时候传入自定义的ZeroMQ socket参数,把发送高水位从默认1000调到一个很小的值(比如100),让消息堆积到一定程度就立刻触发可捕获的异常,而不是攒到1000条之后永久卡死:
import zmq c = zerorpc.Client( timeout=0.1, zmq_socket_opts={zmq.SNDHWM: 100} ) c.connect("tcp://192.168.33.12:4242") - 主动重置连接清残留:循环里做个简单计数,每累计捕获5~10次超时异常,就手动调用全局Client的
close()方法销毁旧连接,把残留的发送缓冲区全部清空,再重新发起connect建立新连接,不让旧缓冲区的堆积一直累加直到触发卡死。 - 环境适配提示:如果后续能把运行环境迁移到Python3,可以把Zerorpc升级到0.10以上的版本,这个版本已经修复了断连状态下队列残留、发送阶段无超时的问题,不会再出现固定次数后卡死的现象。
内容的提问来源于stack exchange,提问作者dhq
相关产品推荐
相关产品推荐

