Locust Worker心跳发送失败时RPS突增问题技术求助

开发者阿泽

2026-6-23

Locust分布式性能测试负载重分配导致RPS突增问题解决方案

问题背景

采用1台Locust Master + 170台Worker架构，模拟250,000并发用户时，若某台Worker因CPU过载丢失心跳，Master会立即将全部负载重新分配给剩余169台Worker，导致RPS从3,000瞬间飙升至10,000，引发测试环境不稳定、请求失败率上升。

针对疑问的具体解决方案

1. 优雅处理负载重新分配的推荐方案

根治Worker心跳丢失根源：
- 限制单Worker并发用户数：当前单Worker需承载约1470个并发用户（250000/170），可将单Worker并发量降至1000以内，同步增加Worker数量至250台左右，避免单Worker CPU过载（当前正常CPU使用率0.3-0.5核心，过载时超90%）。
- 优化测试脚本：移除脚本中不必要的同步计算、冗余日志输出，改用异步请求模式，降低Worker CPU消耗。
启用优雅负载转移机制：
- 配置Worker的--stop-timeout参数（建议设为30s），让Worker在被标记为缺失前，完成当前正在处理的请求，避免Master突然回收未完成的负载。
- 部署冗余Worker：预留10%-15%的空闲Worker，当某台Worker故障时，冗余节点承接部分负载，避免剩余Worker突然过载。

2. 平滑RPS突增的配置与优化

调整Master负载重分配速率：

自定义Master负载分配逻辑：监听Locust的worker_missing事件，在Worker被标记为缺失时临时降低全局spawn rate（比如从140降至50），待负载稳定后再恢复原速率。示例代码：

from locust import events
from locust.runners import MasterRunner
import threading

@events.init.add_listener
def on_locust_init(environment, **kwargs):
    if isinstance(environment.runner, MasterRunner):
        def handle_worker_missing(environment, worker_id):
            # 临时降低生成速率
            environment.runner.spawn_rate = 50
            # 60秒后恢复原速率
            threading.Timer(60.0, lambda: setattr(environment.runner, "spawn_rate", 140)).start()
        events.worker_missing.add_listener(handle_worker_missing)

延长心跳超时参数：将--heartbeat-timeout（默认10s）调整为30s，给Worker足够时间从CPU过载中恢复，减少误判为缺失的情况。

动态负载适配：
若用K8s部署，结合HPA水平扩缩容，当Worker CPU使用率超过阈值时自动扩容新节点，Master会自动将负载分配给新节点，避免现有节点过载。

3. 与Locust故障处理机制的关系及修复/规避方案

问题根源：Locust默认机制是当Worker心跳超时（默认10s），立即将全部目标并发用户重新分配给剩余Worker，且保持原spawn rate，导致剩余Worker瞬间承接额外负载，引发RPS突增。
规避方案：
- 修改Master配置，将--heartbeat-interval（默认5s）和--heartbeat-timeout调整为15s和30s，减少Master误判Worker为缺失的概率。
- 禁用自动重分配：通过自定义代码，在Worker缺失时暂停用户生成，手动调整负载后再恢复，避免自动突增。
修复方案：
可提交Locust社区PR，修改Master的负载重分配逻辑，改为逐步将缺失Worker的负载分配给剩余节点，而非一次性全部分配。目前社区已有类似讨论，可参考相关issue的成熟方案。

额外建议

实时监控Worker的CPU、内存使用率，设置告警阈值（比如CPU超过70%时告警），提前干预避免Worker过载。
对Worker进行业务分组，将不同场景的用户分配到不同Worker组，避免单组过载影响全局测试。

内容的提问来源于stack exchange，提问作者user25373440