.NET中使用HttpClient发送多请求，避免被超时链接阻塞

使用场景 #

我有大量URL链接，需要定期发起请求判断服务是否正常，并在客户端展示这些URL的状态。

遇到的问题 #

如果其中一个URL超时，其他URL会被一同阻塞等待。我需要实现：

• 单个URL超时后不阻塞其他请求，让正常的URL先返回结果
• 通过API逐步返回并行请求的结果，让客户端体验更友好——比如先展示正常返回的URL状态，等超时请求结束后再补充展示其结果

我的尝试（未达预期） #

string[] urls = new string[]
{
    "https://localhost:7268/api/Timeout",
    "https://www.google.com:81",
    "https://url1",
    "https://url2"
};

// 请求方法
async Task<HttpResponseMessage> HttpRequest2Async(string url, CancellationToken cancellationToken = default)
{
    HttpClient httpClient = new HttpClient();
    
    var responseMessage = await httpClient.GetAsync(url, cancellationToken);
    
    return responseMessage;
}

// 尝试1：某个URL超时后，后续所有URL都要等它完成才继续
List<HttpResponseMessage> urlResponses = new();

foreach (string url in urls)
{
    var responseMessage = await HttpRequest2Async(url, default);
    
    urlResponses.Add(responseMessage);
}

// 尝试2：只要有一个URL超时，所有结果都要等它完成才一起返回
var tasks = new List<Task<HttpResponseMessage>>();

foreach (string url in urls)
{
    var task = HttpRequest2Async(url, default);
    
    tasks.Add(task);
}

var res = await Task.WhenAll(tasks);

当前结果 #

• 第一个超时URL（https://localhost:7268/api/Timeout）之后的URL必须等它完成才会执行请求
• 所有URL结果都要等这个超时请求完成后才会一起返回

1. 先修复HttpClient的资源问题 #

绝对不要每次请求都创建新的HttpClient，这会导致套接字耗尽、性能下降。应该复用单个HttpClient实例，ASP.NET Core环境下推荐用IHttpClientFactory注入。

2. 给每个请求设置独立超时 #

为每个请求单独配置超时时间，避免单个请求的超时阻塞其他任务。可以通过CancellationTokenSource实现专属超时控制。

3. 用Task.WhenAny逐个处理完成的任务 #

通过循环调用Task.WhenAny，每次获取第一个完成的任务，立即处理并返回结果，不用等待所有任务结束。

完整示例代码 #

// 复用HttpClient实例，全局只初始化一次
private static readonly HttpClient _httpClient = new HttpClient();

// 带独立超时的请求方法，返回包含URL、响应、异常的元组
async Task<(string Url, HttpResponseMessage? Response, Exception? Error)> RequestWithTimeoutAsync(string url, int timeoutMs = 5000)
{
    using var cts = new CancellationTokenSource(timeoutMs);
    try
    {
        var response = await _httpClient.GetAsync(url, cts.Token);
        return (url, response, null);
    }
    catch (Exception ex)
    {
        // 捕获超时、连接失败等所有异常
        return (url, null, ex);
    }
}

// 并行处理URL，逐个返回结果（异步流）
async IAsyncEnumerable<(string Url, string Status)> ProcessUrlsAsync(string[] urls)
{
    // 初始化所有请求任务
    var pendingTasks = urls.Select(url => RequestWithTimeoutAsync(url)).ToList();

    while (pendingTasks.Any())
    {
        // 获取第一个完成的任务
        var completedTask = await Task.WhenAny(pendingTasks);
        pendingTasks.Remove(completedTask);

        var result = await completedTask;
        string status;
        
        if (result.Error != null)
        {
            // 判断是否是超时异常
            status = result.Error is OperationCanceledException ? "超时" : $"失败: {result.Error.Message}";
        }
        else
        {
            status = result.Response?.IsSuccessStatusCode == true 
                ? "正常" 
                : $"异常状态码: {result.Response?.StatusCode}";
        }

        // 立即返回当前结果，客户端可实时接收
        yield return (result.Url, status);
    }
}

// 调用示例
async Task UsageExample()
{
    string[] urls = new string[]
    {
        "https://localhost:7268/api/Timeout",
        "https://www.google.com:81",
        "https://url1",
        "https://url2"
    };

    await foreach (var statusInfo in ProcessUrlsAsync(urls))
    {
        Console.WriteLine($"URL: {statusInfo.Url} - 状态: {statusInfo.Status}");
        // Web场景下可通过SignalR、SSE等方式推送给客户端实时展示
    }
}

关键说明 #

• 独立超时控制：每个请求用专属的CancellationTokenSource设置超时，不会影响其他请求的执行
• 实时返回结果：Task.WhenAny确保只要有任务完成就立即处理，无需等待所有任务结束
• 资源优化：复用HttpClient避免频繁创建导致的系统资源浪费
• 异步流输出：IAsyncEnumerable支持逐步返回结果，客户端可以实时更新状态，提升体验

Web API场景的结果推送方式 #

如果是在Web API中实现逐步返回，可选择：

• Server-Sent Events (SSE)：适合单向实时推送，客户端通过EventSource接收更新
• SignalR：支持双向通信，适合需要交互的实时场景
• 分块传输编码：将响应分块发送，客户端可逐步接收内容

内容的提问来源于stack exchange，提问作者SBANAS