Locust部署于K8s后HPA缩容引发负载异常下降的解决方案咨询

你的问题核心是HPA基于CPU利用率触发了不必要的缩容，导致Worker Pod被移除时用户负载直接丢失。以下是针对性的解决建议：

1. 替换HPA触发指标为负载相关的自定义指标 #

CPU利用率无法直接反映Locust的实际测试负载（比如用户数、QPS），很容易因为Worker的任务间隙导致误缩容。建议改用Locust暴露的自定义指标：

• 基于单Pod活跃用户数配置HPA：确保每个Worker承载的用户数稳定，避免因负载分布不均触发缩容。示例helm配置：

  hpa:
    enabled: true
    minReplicas: 5
    maxReplicas: 100
    metrics:
    - type: Pods
      pods:
        metric:
          name: locust_users
        target:
          type: AverageValue
          averageValue: 150 # 每个Worker承载150个用户，可根据实际压测调整
  

• 基于QPS配置HPA：如果测试关注请求量，可用locust_requests_per_second指标，确保HPA根据实际请求负载调整Pod数量。

2. 调整HPA缩容策略，降低敏感度 #

K8s默认的缩容逻辑比较激进，可通过以下参数优化：

• 延长缩容冷却时间：给足够的时间确认负载确实下降，避免短时间波动触发缩容。示例配置：

  hpa:
    enabled: true
    # 原有min/max配置...
    behavior:
      scaleDown:
        stabilizationWindowSeconds: 900 # 15分钟冷却期
        policies:
        - type: Percent
          value: 10
          periodSeconds: 60 # 每次缩容不超过当前Pod数的10%，每60秒检查一次
  

• 若测试期间不需要缩容，可临时禁用缩容：

  hpa:
    behavior:
      scaleDown:
        enabled: false
  

3. 优化Locust Worker的负载控制 #

• 限制每个Worker的最大用户数：通过--worker-max-users参数固定单Pod承载的用户量，避免Worker因负载过低导致CPU利用率下降。helm配置示例：

  worker:
    args: ["--worker-max-users", "200"]
  

• 调整测试场景的用户行为：如果测试用例存在长时间空闲（比如大间隔的等待时间），可缩短空闲周期，保持Worker的CPU负载稳定，减少HPA误判的可能。

4. 实现Worker的平滑缩容，避免用户丢失 #

当HPA缩容时，默认的Pod终止会直接导致该Worker上的用户消失，需要让Master先迁移用户再终止Pod：

• 配置Pod的preStop钩子：在Worker收到终止信号前，通知Master迁移用户。示例：

  worker:
    lifecycle:
      preStop:
        exec:
          command: ["bash", "-c", "curl -X POST http://locust-master:8089/api/v1/workers/$(hostname)/drain -H 'Content-Type: application/json'"]
  

  （注：需确保Locust Master开启了API，或自定义脚本实现用户迁移逻辑）
• 延长终止宽限期：给Master足够的时间完成用户迁移，避免强制杀Pod：

  worker:
    terminationGracePeriodSeconds: 300 # 5分钟宽限期
  

5. 验证指标采集准确性 #

• 用kubectl describe hpa <locust-hpa-name>查看HPA的指标采集情况，确认指标值和Locust UI显示的实际负载一致。
• 检查Prometheus（或其他指标工具）的Scrape周期，确保指标采集及时，无延迟。

内容的提问来源于stack exchange，提问作者user2295803