如何用Polly实现Dropbox API限流时的请求漏斗式同步？

Polly原生的重试/退避策略是单请求维度的，无法直接实现全局同步等待，但可以通过Polly策略+全局共享状态的组合方式满足你的需求，具体实现思路如下：

核心思路 #

通过全局线程安全的状态容器记录限流状态，让所有请求（包括新发起的）在执行前先检查该状态，若处于限流窗口期则统一等待，限流结束后通过信号量控制并发逐步恢复，避免再次触发限流。

具体实现步骤 #

1. 全局限流状态管理 #

定义一个线程安全的全局类，存储限流过期时间和并发控制信号量：

public static class DropboxRateLimitState
{
    // 限流截止时间（UTC）
    public static DateTimeOffset? RateLimitExpiry { get; set; }
    // 并发控制信号量，初始设为1，后续逐步恢复
    public static readonly SemaphoreSlim ThrottleSemaphore = new SemaphoreSlim(1, 100);
}

2. 定制Polly重试策略 #

在重试策略中加入全局状态检查，捕获限流响应时更新全局过期时间，并调整信号量：

var retryPolicy = Policy
    .HandleResult<HttpResponseMessage>(r => r.StatusCode == HttpStatusCode.TooManyRequests)
    .WaitAndRetryAsync(
        retryCount: 5,
        sleepDurationProvider: (retryAttempt, context) =>
        {
            // 优先等待全局限流过期，过期后再用指数退避
            if (DropboxRateLimitState.RateLimitExpiry.HasValue && DateTimeOffset.UtcNow < DropboxRateLimitState.RateLimitExpiry.Value)
            {
                var waitTime = DropboxRateLimitState.RateLimitExpiry.Value - DateTimeOffset.UtcNow;
                return waitTime > TimeSpan.Zero ? waitTime : TimeSpan.FromMilliseconds(100);
            }
            return TimeSpan.FromSeconds(Math.Pow(2, retryAttempt));
        },
        onRetryAsync: async (outcome, timespan, retryAttempt, context) =>
        {
            // 解析Dropbox返回的Retry-After头，更新全局限流时间
            if (outcome.Result.Headers.TryGetValues("Retry-After", out var values) 
                && int.TryParse(values.First(), out var retryAfterSeconds))
            {
                DropboxRateLimitState.RateLimitExpiry = DateTimeOffset.UtcNow.AddSeconds(retryAfterSeconds);
                // 限流期间将信号量压缩到1个并发
                while (DropboxRateLimitState.ThrottleSemaphore.CurrentCount > 1)
                {
                    await DropboxRateLimitState.ThrottleSemaphore.WaitAsync();
                }
            }
        });

3. 请求执行前的全局检查 #

所有请求发起前先检查全局限流状态，等待到过期后再通过信号量控制并发执行：

public async Task<HttpResponseMessage> CallDropboxApiAsync(HttpRequestMessage request)
{
    // 新请求先等待限流过期
    if (DropboxRateLimitState.RateLimitExpiry.HasValue && DateTimeOffset.UtcNow < DropboxRateLimitState.RateLimitExpiry.Value)
    {
        var waitTime = DropboxRateLimitState.RateLimitExpiry.Value - DateTimeOffset.UtcNow;
        await Task.Delay(waitTime);
    }

    // 通过信号量控制并发数
    await DropboxRateLimitState.ThrottleSemaphore.WaitAsync();
    try
    {
        return await retryPolicy.ExecuteAsync(() => _httpClient.SendAsync(request));
    }
    finally
    {
        DropboxRateLimitState.ThrottleSemaphore.Release();
        
        // 限流过期后逐步恢复并发上限（比如恢复到100）
        if (!DropboxRateLimitState.RateLimitExpiry.HasValue || DateTimeOffset.UtcNow >= DropboxRateLimitState.RateLimitExpiry.Value)
        {
            if (DropboxRateLimitState.ThrottleSemaphore.CurrentCount < 100)
            {
                DropboxRateLimitState.ThrottleSemaphore.Release();
            }
        }
    }
}

注意事项 #

• 全局状态的读写要保证线程安全，示例中RateLimitExpiry的更新可根据实际情况加锁（比如用Interlocked或lock）。
• 信号量的初始值和恢复逻辑可根据业务并发需求调整，避免恢复过快再次触发限流。
• 若Dropbox未返回Retry-After头，可根据指数退避逻辑自行估算等待时间。

内容的提问来源于stack exchange，提问作者R4cOOn