基于X-Ratelimit头实现弹性限流的问题排查

核心问题 #

1. 初始速率配置完全错误：你需要实现每秒100次请求，但rate.NewLimiter(rate.Every(time.Second*5), 100)的实际含义是每5秒生成1个令牌，burst=100仅允许一次性取完100个初始令牌。所以前100个请求能瞬间完成，之后每个请求都要等5秒才能拿到新令牌，这是初始配置和需求完全不符导致的。
2. 对SetLimitAt和SetBurstAt的理解偏差：这两个方法是用来设置未来某个时间点开始生效的速率和突发值，并非用来重置当前令牌桶的剩余数量或立即恢复令牌。你模拟429时调用这两个方法，并没有把令牌桶重置填满，后续请求依然只能按错误的初始速率（每5秒1个）获取令牌，所以每个都要等5秒。

正确实现思路 #

基于API返回的X-Ratelimit-*头实现弹性限流，核心逻辑应该是：

• 初始时根据X-Ratelimit-Limit设置速率（每秒100次即rate.Limit(100)）
• 每次请求后，根据X-Ratelimit-Remaining调整令牌桶状态（x/time/rate没有直接修改剩余令牌的方法，需间接处理）
• 当X-Ratelimit-Remaining=0时，计算当前时间到X-Ratelimit-Reset的间隔，阻塞等待到重置时间，之后重置令牌桶

修正后的代码 #

package main

import (
    "context"
    "fmt"
    "time"

    "golang.org/x/time/rate"
)

func main() {
    // 初始配置：每秒100次请求，突发100个令牌
    targetRate := rate.Limit(100) // 等价于rate.Every(time.Second / 100)，更直观
    l := rate.NewLimiter(targetRate, 100)

    for i := 0; i < 200; i++ {
        when := time.Now()
        if err := l.Wait(context.TODO()); err != nil {
            panic(err)
        }
        fmt.Println(i, "Done", time.Now().Sub(when).Milliseconds(), "ms")

        // 模拟收到429 Too Many Requests响应（第100次请求后触发）
        if i == 100 {
            fmt.Println("Got 429 Too Many Requests")
            // 模拟API返回的X-Ratelimit头：Reset为5秒后，Remaining=0，Limit=100
            resetTime := time.Now().Add(5 * time.Second)
            waitDuration := resetTime.Sub(time.Now())

            // 阻塞到重置时间点
            time.Sleep(waitDuration)
            fmt.Println("Wait until reset time, refill token bucket")

            // 间接重置令牌桶：先设burst为0清空剩余令牌，再恢复原burst值让令牌桶填满
            l.SetBurst(0)
            l.SetBurst(100)
            l.SetLimit(targetRate)
        }
    }
}

代码说明 #

• 用rate.Limit(100)直接表示每秒100次请求，比rate.Every写法更直观
• 模拟429时，先计算到Reset时间的等待时长，调用time.Sleep阻塞到该时间点
• 通过先设置burst为0再恢复的方式，间接让Limiter的令牌桶重新填满（burst设为0时剩余令牌会被清空，恢复为100时令牌桶会自动填充到burst值）
• 后续请求会恢复到每秒100次的正常速率，不会再逐个等待5秒

内容的提问来源于stack exchange，提问作者Manticore