将Locust作为库集成时runner退出后greenlets持续运行的问题咨询
Locust 1.4.3 库集成模式下固定请求数优雅退出实现
原实现的核心问题
你碰到的残留协程、统计打印不停止的问题,本质是三个实现细节没有匹配1.4.3版本的API逻辑:
- 实例级计数器没有加并发锁,多User场景下很容易出现实际请求数和预期阈值对不齐的竞态问题
- 把
runner.quit()写在on_stop回调里触发时机太晚:这个回调是User实例已经被销毁后才执行的,此时调度器已经失去对残留循环的控制,没法及时传递停止信号 - 1.4.3版本的
runner.quit()默认不会主动终止内置的后台协程,比如定时打统计的stats-printer、持续调度用户的spawn loop,这些协程会一直处于运行状态,导致主流程没法通过join等待退出
问题1:实现达到指定请求数自动停止
不要在请求处理的业务逻辑里硬塞判断,直接用Locust内置的全局事件监听+协程安全计数实现:
- 上层初始化时传入总请求数阈值
- 监听全局请求完成事件,累计已完成的请求数,达到阈值后第一时间触发runner停止
- 每个User的任务循环开头加停止标记判断,触发
StopUser终止循环
核心修正代码:
import threading from locust import User, task, events, StopUser # 全局协程安全变量 _total_limit = 0 _is_target_reached = False _count_lock = threading.Lock() def set_total_request_limit(limit: int): """上层集成时调用,设置总发送消息数""" global _total_limit, _is_target_reached _total_limit = limit _is_target_reached = False @events.request.add_listener def count_request(request_type, name, response_time, response_length, exception, context, **kwargs): global _is_target_reached if _is_target_reached: return with _count_lock: # 直接读Locust内置的全局请求统计,避免自己计数不准 current_done = context["user"].environment.stats.num_requests if current_done >= _total_limit: _is_target_reached = True # 调用后面实现的优雅退出逻辑 graceful_quit(context["user"].environment.runner) class KafkaProducerUser(User): @task def produce_msg(self): # 检测到停止标记就直接终止当前User循环 if _is_target_reached: raise StopUser("已达到指定消息发送量") # 原有Kafka消息生产逻辑...
问题2:实现所有greenlet正常退出、上层join可正常等待
1.4.3版本的默认quit逻辑不会清理内置后台协程,需要手动在触发退出时主动回收:
- 先给stats-printer协程发退出信号,停止统计打印
- 主动终止runner的主调度协程,等待协程回收完成
- 最后调用Locust自带的quit逻辑触发全流程停止事件
优雅退出方法的实现:
def graceful_quit(runner): # 停止内置的统计打印协程 if hasattr(runner.environment, "stats_printer"): runner.environment.stats_printer.g_event.set() # 终止runner主调度协程,等待其回收 if runner.greenlet: runner.greenlet.kill() runner.greenlet.join(timeout=5) # 触发Locust内置的quit事件,完成收尾 runner.quit()
修正后可正常join的原理
- 原来的残留协程都是绑定在runner主greenlet上的子协程,主动设置退出标记后,这些子协程会随主协程一起被回收,不会出现孤儿协程空转
- 所有User实例在检测到停止标记后会主动抛出
StopUser终止循环,不会持续发起无效请求 - 上层集成时只要拿到runner实例,直接调用
runner.greenlet.join()就可以等待所有关联协程执行完毕,不会出现程序挂起、控制台一直打统计日志的问题
上层集成的完整调用示例
from locust import Environment # 导入上面写的locust逻辑 from your_locust_module import KafkaProducerUser, set_total_request_limit # 配置发送1000条Kafka消息 set_total_request_limit(1000) env = Environment(user_classes=[KafkaProducerUser]) runner = env.create_local_runner() # 启动10个并发生产者 runner.start(user_count=10, spawn_rate=5) # 直接等待所有流程执行完毕 runner.greenlet.join() print("所有消息发送完成,程序退出")
内容的提问来源于stack exchange,提问作者Bhavani B
相关产品推荐
相关产品推荐

