限流HttpClient在大量请求后出现超时问题求助

核心问题根源 #

你的限流实现存在致命缺陷：在异步方法ExecuteWithLimitingAsync中使用了同步阻塞的Semaphore.WaitOne()。当大量请求涌入时，该调用会持续占用线程池线程，导致线程池资源耗尽。HttpClient的连接池依赖线程池线程处理连接分配、回收等后台逻辑，线程池耗尽后，新请求无法获取连接，最终因等待超时抛出TimeoutException。

你误以为信号量控制的并发数和MaxConnectionsPerServer匹配就不会有问题，但同步阻塞的信号量会占用额外线程资源，完全抵消了连接数限制的作用，甚至引发更严重的线程资源枯竭。

修复方案 #

将同步信号量替换为异步信号量SemaphoreSlim，使用其异步等待方法WaitAsync()，避免阻塞线程池线程：

// 初始化异步信号量，最大并发数4
private readonly SemaphoreSlim _semaphore = new SemaphoreSlim(4, 4);

public async Task<Tout> ExecuteWithLimitingAsync<Tout>(Func<Task<Tout>> func)
{
    await _semaphore.WaitAsync();
    try
    {
        return await func.Invoke();
    }
    finally
    {
        _semaphore.Release();
    }
}

额外优化建议 #

• 检查HttpClient超时设置：确保HttpClient.Timeout设置合理，避免因默认超时过短导致正常请求被中断
• 调整连接池生命周期参数：结合异步限流的修复，可设置PooledConnectionLifetime = TimeSpan.FromMinutes(5)，定期回收旧连接，防止潜在的连接泄漏
• 确保全异步链路：所有IO操作（包括API调用内部逻辑）都使用异步方法，避免任何同步阻塞操作占用线程资源

内容的提问来源于stack exchange，提问作者gbrzeczek