Azure不横向扩容场景下如何实现请求阈值限流？

你需要的是全局固定窗口计数限流能力，具体落地方式如下：

• 不要使用负载均衡（LB）节点本地的单机限流规则：这类规则的计数器存在单个LB节点本地，多节点部署时总请求阈值会变成「单节点配置阈值 * LB节点数」，横向扩容LB节点时阈值会自动放大，完全不符合你的要求。
• 在LB层配置全局生效的固定窗口（Fixed Window）限流规则，参数直接按需求设置：
  • 统计窗口时长配置为5s
  • 窗口内允许的最大请求数配置为1000
  • 触发阈值后的执行动作配置为直接拒绝请求（返回429状态码即可），不再转发到后端API Management服务
• 该限流规则的计数数据必须由LB集群全局共享存储，所有LB节点收到的请求都累加到同一个计数器上，不会因为LB节点数量变化导致阈值偏移，全程不需要因为横向扩容调整限流参数。

注意不要选用令牌桶、漏桶类的限流算法，这两类算法主打流量平滑整形，会放行部分突发流量，无法实现“到阈值后直接拒绝所有后续请求”的效果。

内容的提问来源于stack exchange，提问作者csaba