You need to enable JavaScript to run this app. 将Locust作为库集成时runner退出后greenlets持续运行的问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

将Locust作为库集成时runner退出后greenlets持续运行的问题咨询

Locust 1.4.3 库集成模式下固定请求数优雅退出实现

原实现的核心问题

你碰到的残留协程、统计打印不停止的问题,本质是三个实现细节没有匹配1.4.3版本的API逻辑:

  • 实例级计数器没有加并发锁,多User场景下很容易出现实际请求数和预期阈值对不齐的竞态问题
  • 把runner.quit()写在on_stop回调里触发时机太晚:这个回调是User实例已经被销毁后才执行的,此时调度器已经失去对残留循环的控制,没法及时传递停止信号
  • 1.4.3版本的runner.quit()默认不会主动终止内置的后台协程,比如定时打统计的stats-printer、持续调度用户的spawn loop,这些协程会一直处于运行状态,导致主流程没法通过join等待退出

问题1:实现达到指定请求数自动停止

不要在请求处理的业务逻辑里硬塞判断,直接用Locust内置的全局事件监听+协程安全计数实现:

  • 上层初始化时传入总请求数阈值
  • 监听全局请求完成事件,累计已完成的请求数,达到阈值后第一时间触发runner停止
  • 每个User的任务循环开头加停止标记判断,触发StopUser终止循环

核心修正代码:

import threading
from locust import User, task, events, StopUser

# 全局协程安全变量
_total_limit = 0
_is_target_reached = False
_count_lock = threading.Lock()

def set_total_request_limit(limit: int):
    """上层集成时调用,设置总发送消息数"""
    global _total_limit, _is_target_reached
    _total_limit = limit
    _is_target_reached = False

@events.request.add_listener
def count_request(request_type, name, response_time, response_length, exception, context, **kwargs):
    global _is_target_reached
    if _is_target_reached:
        return
    with _count_lock:
        # 直接读Locust内置的全局请求统计,避免自己计数不准
        current_done = context["user"].environment.stats.num_requests
        if current_done >= _total_limit:
            _is_target_reached = True
            # 调用后面实现的优雅退出逻辑
            graceful_quit(context["user"].environment.runner)

class KafkaProducerUser(User):
    @task
    def produce_msg(self):
        # 检测到停止标记就直接终止当前User循环
        if _is_target_reached:
            raise StopUser("已达到指定消息发送量")
        # 原有Kafka消息生产逻辑...

问题2:实现所有greenlet正常退出、上层join可正常等待

1.4.3版本的默认quit逻辑不会清理内置后台协程,需要手动在触发退出时主动回收:

  • 先给stats-printer协程发退出信号,停止统计打印
  • 主动终止runner的主调度协程,等待协程回收完成
  • 最后调用Locust自带的quit逻辑触发全流程停止事件

优雅退出方法的实现:

def graceful_quit(runner):
    # 停止内置的统计打印协程
    if hasattr(runner.environment, "stats_printer"):
        runner.environment.stats_printer.g_event.set()
    # 终止runner主调度协程,等待其回收
    if runner.greenlet:
        runner.greenlet.kill()
        runner.greenlet.join(timeout=5)
    # 触发Locust内置的quit事件,完成收尾
    runner.quit()

修正后可正常join的原理

  • 原来的残留协程都是绑定在runner主greenlet上的子协程,主动设置退出标记后,这些子协程会随主协程一起被回收,不会出现孤儿协程空转
  • 所有User实例在检测到停止标记后会主动抛出StopUser终止循环,不会持续发起无效请求
  • 上层集成时只要拿到runner实例,直接调用runner.greenlet.join()就可以等待所有关联协程执行完毕,不会出现程序挂起、控制台一直打统计日志的问题

上层集成的完整调用示例

from locust import Environment
# 导入上面写的locust逻辑
from your_locust_module import KafkaProducerUser, set_total_request_limit

# 配置发送1000条Kafka消息
set_total_request_limit(1000)
env = Environment(user_classes=[KafkaProducerUser])
runner = env.create_local_runner()
# 启动10个并发生产者
runner.start(user_count=10, spawn_rate=5)
# 直接等待所有流程执行完毕
runner.greenlet.join()
print("所有消息发送完成,程序退出")

内容的提问来源于stack exchange,提问作者Bhavani B

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 08:36:09