如何在ASP.NET Core RateLimiter中异步查询API Key限流规则？

为什么直接加async会报错 #

AddPolicy的同步重载要求委托返回RateLimitPartition<string>，而加async后委托返回的是Task<RateLimitPartition<string>>，类型不匹配，导致编译失败。

正确实现方式 #

使用AddPolicy的异步重载，接受返回ValueTask<RateLimitPartition<string>>的异步委托，具体代码修改如下：

builder.Services.AddRateLimiter(options =>
{
    options.OnRejected = async (context, cancellationToken) =>
    {
        if (context.Lease.TryGetMetadata(MetadataName.RetryAfter, out var retryAfter))
        {
            context.HttpContext.Response.Headers.RetryAfter =
                ((int)retryAfter.TotalSeconds).ToString(NumberFormatInfo.InvariantInfo);
        }

        context.HttpContext.Response.StatusCode = StatusCodes.Status429TooManyRequests;
        await context.HttpContext.Response.WriteAsync("Too many requests for your Api Key. Please try again later.", cancellationToken);
    };

    // 改用异步委托注册策略
    options.AddPolicy("ApiKey_Minute", async context =>
    {
        var keyService = context.RequestServices.GetRequiredService<KeyValidationService>();
        var apiKey = context.Request.Headers["X-Api-Key"].FirstOrDefault();
        
        // 预创建默认限流器，避免重复实例化
        var defaultLimit = RateLimitPartition.GetTokenBucketLimiter("defaultLimit", _ =>
                new TokenBucketRateLimiterOptions
                {
                    TokenLimit = 5,
                    TokensPerPeriod = 5,
                    ReplenishmentPeriod = TimeSpan.FromMinutes(1),
                    QueueLimit = 0,
                    AutoReplenishment = true
                });

        if (string.IsNullOrWhiteSpace(apiKey))
        {
            return defaultLimit;
        }

        // 调用异步方法查询Key的特殊限流规则
        var keyInfo = await keyService.LookupKeyAsync(apiKey);

        if (keyInfo == null)
        {
            return defaultLimit;
        }

        // 为该API Key创建专属限流器
        var perMinuteLimiter = RateLimitPartition.GetFixedWindowLimiter(
            partitionKey: $"{apiKey}-minute",
            factory: _ => new FixedWindowRateLimiterOptions
            {
                PermitLimit = keyInfo.CallsPerMinute ?? 5,
                Window = TimeSpan.FromMinutes(1),      
                QueueProcessingOrder = QueueProcessingOrder.OldestFirst,
                QueueLimit = 2                       
            }
        );

        return perMinuteLimiter;
    });
});

关键要点 #

1. 异步委托适配：将策略委托标记为async，编译器会自动处理返回值为ValueTask<RateLimitPartition<string>>，匹配AddPolicy的异步重载。
2. 异步Key查询：需要将KeyValidationService中的同步方法LookupKey替换为异步版本LookupKeyAsync（如果尚未实现，需补充异步查询逻辑，比如数据库异步查询、缓存异步读取等）。
3. 性能优化：预创建默认限流器，避免每次请求重复创建相同配置的实例，减少资源消耗。

额外建议 #

• 将限流配置（如默认TokenLimit、PermitLimit）抽取到配置文件（appsettings.json）中，便于动态调整。
• 对X-Api-Key的格式做基础校验，过滤无效Key，减少不必要的异步查询。
• 为Key查询逻辑添加本地缓存（如IDistributedCache或IMemoryCache），缩短查询耗时，提升限流决策的响应速度。

内容的提问来源于stack exchange，提问作者runxc1 Bret Ferrier