.NET Core中如何基于动态输入并行处理多异步请求？

你的场景下，单纯用Task.WhenAll存在两个明显问题：一是会一次性发起所有请求，当请求数接近50时可能导致TCP连接耗尽、目标服务器限流；二是单个请求失败会直接抛出AggregateException，中断结果收集（虽然可以事后遍历任务状态，但不够直观）。

结合你的需求，最优方案是用SemaphoreSlim控制并发数，同时对每个请求单独做异常捕获，确保单个请求失败不影响其他任务执行，最终统一收集所有结果。

核心实现步骤 #

1. 动态生成URL列表 #

根据用户输入的数量（5-50）生成对应URL，示例：

// 替换为用户实际输入的请求数量
int requestCount = 15;
var urls = Enumerable.Range(1, requestCount)
                     .Select(i => $"https://example.com/api/data/{i}")
                     .ToList();

2. 用SemaphoreSlim限制并发数 #

初始化SemaphoreSlim指定最大并发数（比如10），每个请求前调用WaitAsync()获取信号量，请求完成后调用Release()释放信号量，避免同时发起过多请求。

3. 容错处理与结果收集 #

创建一个结果类存储每个请求的状态，用try-catch包裹单个请求，捕获异常并记录失败原因，确保单个请求失败不终止整个任务队列。

完整代码示例 #

// 推荐用IHttpClientFactory注入HttpClient，避免频繁创建实例
private readonly HttpClient _httpClient;

public async Task<List<RequestResult>> ProcessRequestsAsync(int requestCount, int maxConcurrency = 10)
{
    // 1. 动态生成URL列表
    var urls = Enumerable.Range(1, requestCount)
                         .Select(i => $"https://example.com/api/data/{i}")
                         .ToList();

    var semaphore = new SemaphoreSlim(maxConcurrency);
    var results = new ConcurrentBag<RequestResult>();
    var tasks = new List<Task>();

    foreach (var url in urls)
    {
        await semaphore.WaitAsync();

        tasks.Add(Task.Run(async () =>
        {
            var result = new RequestResult { Url = url };
            try
            {
                result.Content = await _httpClient.GetStringAsync(url);
                result.IsSuccess = true;
            }
            catch (HttpRequestException ex)
            {
                result.IsSuccess = false;
                result.ErrorMessage = $"请求失败: {ex.Message}";
            }
            catch (TaskCanceledException ex)
            {
                result.IsSuccess = false;
                result.ErrorMessage = $"请求超时: {ex.Message}";
            }
            finally
            {
                semaphore.Release();
            }

            results.Add(result);
        }));
    }

    await Task.WhenAll(tasks);
    return results.ToList();
}

// 定义结果类
public class RequestResult
{
    public string Url { get; set; }
    public bool IsSuccess { get; set; }
    public string Content { get; set; }
    public string ErrorMessage { get; set; }
}

方案优势对比 #

• 对比原生Task.WhenAll：
  • 可控并发：避免一次性发起50个请求导致的资源耗尽问题，保护系统和目标服务器
  • 容错性强：单个请求失败不影响其他任务，所有结果都会被收集
  • 结果清晰：通过RequestResult类可以直观看到每个请求的状态，无需事后遍历任务异常

额外优化建议 #

• 复用HttpClient：使用IHttpClientFactory注入HttpClient（.NET Core推荐方式），避免频繁创建实例导致的socket耗尽
• 设置超时时间：在HttpClient或请求中设置合理超时，避免任务无限等待
• 支持取消令牌：如果需要中途终止请求，可以传入CancellationToken到WaitAsync和GetStringAsync中

内容的提问来源于stack exchange，提问作者Alan