异步后台Worker异常：任务未完成且无日志排查信息

问题根源 #

1. Parallel.ForEach 与异步委托的兼容性冲突 #

Parallel.ForEach是为同步代码设计的，它无法识别异步lambda返回的Task。当你传入async job => ...时，这个lambda会被当作async void处理（因为Parallel.ForEach期望的是Action<int>，而async Action本质就是async void）。

• async void方法的异常不会被常规try/catch捕获，会直接抛向线程池，导致无日志输出；
• Parallel.ForEach不会等待异步任务完成，会直接推进到下一个迭代，大量任务还没执行完就被程序终止，出现“步骤未完成”的现象。

2. HttpClient实例化不当 #

每个DownloadDataContentAsync都新建HttpClient实例，会快速耗尽TCP连接池，导致后续请求失败，且这种失败可能没有被现有try/catch正确捕获（比如连接超时异常可能不属于HttpRequestException）。

3. 异常捕获范围不足 #

虽然单个方法有try/catch，但异步流程中跨线程的异常无法被局部catch捕获，加上Parallel.ForEach的async void特性，最终导致异常“消失”，无告警日志。

修复方案 #

1. 替换Parallel.ForEach为异步友好的并行处理 #

用Task.WhenAll结合Select实现异步并行，确保所有任务都被等待，异常能被统一捕获：

public async Task<int> StartParallel()
{
    List<int> jobList = new List<int>(){1,2,3,4,5,6,7,9};
    
    // 为每个Job创建异步任务
    var tasks = jobList.Select(async job =>
    {
        try
        {
            string content = await DownloadDataContentAsync(job);
            if(!String.IsNullOrEmpty(content)){
                var list = await DeserializeContentAsync(content);
                var dbSuccess = await SaveToDbAsync(list);
                var fileSuccess = await SaveFileSystemAsync(list);
            }
            Console.WriteLine($"Job {job} 执行完成");
        }
        catch (Exception ex)
        {
            // 全局捕获单个Job的所有异常，确保日志可追踪
            Console.WriteLine($"Job {job} 执行失败: {ex.Message}\n{ex.StackTrace}");
        }
    });
    
    // 等待所有异步任务执行完毕
    await Task.WhenAll(tasks);
    
    return 5;
}

2. 复用HttpClient实例 #

HttpClient是线程安全的，全局复用一个实例避免连接池耗尽：

// 类级别声明静态HttpClient，全局复用
private static readonly HttpClient _httpClient = new HttpClient();

public async Task<string> DownloadDataContentAsync(object job)
{
    try
    {
        using HttpResponseMessage response = await _httpClient.GetAsync("http://www.contoso.com/");
        response.EnsureSuccessStatusCode();
        string responseBody = await response.Content.ReadAsStringAsync();
        return responseBody;
    }
    catch (Exception e) // 捕获所有异常，不限于HttpRequestException
    {
        Console.WriteLine($"Job {job} - DownloadDataContentAsync 异常!");
        Console.WriteLine($"消息: {e.Message}");
    }
    return "";
}

3. 移除多余的Task.Run包装 #

StartWorker中的Task.Run是冗余的，直接异步等待StartParallel即可：

public async Task<int> StartWorker()
{
    await StartParallel();
    return 0;
}

4. 完善异常捕获范围 #

将单个方法的try/catch扩大到整个Job的处理流程，同时捕获所有类型的异常（不要局限于HttpRequestException），确保任何失败都有日志记录。

总结 #

• 核心问题是Parallel.ForEach不支持异步委托，导致任务未被等待、异常无法追踪；
• 用Task.WhenAll+Select是异步并行的正确实现方式；
• 复用HttpClient避免连接资源耗尽；
• 全局捕获单个Job的异常，确保所有失败场景都有日志可查。

内容的提问来源于stack exchange，提问作者Mehmet Otkun