EF6异步调用外部API场景下WaitAll()与WhenAll()的使用疑问

核心优化思路 #

你当前的串行执行写法，总耗时为「单次API请求耗时 × 实体数量」，而API调用属于典型的IO密集型操作，等待响应的过程完全可以并发利用，通过Task.WhenAll批量等待异步请求，可以把总耗时压低到接近单次API请求的水平。

注意事项 #

• EF的DbContext不是线程安全的，禁止在并发回调中直接操作DbContext的状态变更，避免触发不可预期的线程安全异常
• Zoom API有明确的请求频率限制，必须控制并发请求数，避免触发429限流错误导致请求批量失败

优化后代码示例 #

// 异步方法返回值改为Task<IEnumerable<Entity>>
public async Task<IEnumerable<Entity>> Process() 
{
    // 1. 异步拉取所有待处理实体，避免IQueryable延迟加载的额外开销
    var data = await _db.Entity.Where(x => !x.IsRegistered).ToListAsync();
    if (!data.Any()) 
    {
        return data;
    }

    // 2. 控制最大并发数，可根据Zoom接口限流规则调整，建议初始值设为10~20
    using var semaphore = new SemaphoreSlim(10);
    // 定义临时存储结构，存储API返回结果与对应实体的映射
    var resultMap = new Dictionary<int, (int RegistrationId, string JoinUrl)>();

    // 3. 批量创建API请求Task
    var apiTasks = data.Select(async entity => 
    {
        await semaphore.WaitAsync();
        try
        {
            var result = await CallExternalApi(entity.Id, entity.Name);
            // 先存结果，不要直接修改实体，规避EF线程安全问题
            resultMap.Add(entity.Id, (result.RegistrationId, result.JoinUrl));
        }
        catch (Exception ex)
        {
            // 此处可添加失败日志、记录失败条目后续重试
            Console.WriteLine($"实体{entity.Id}注册失败：{ex.Message}");
        }
        finally
        {
            semaphore.Release();
        }
    });

    // 4. 异步等待所有API请求完成，不阻塞线程
    await Task.WhenAll(apiTasks);

    // 5. 单线程统一更新实体属性与EF状态，完全规避线程安全问题
    foreach (var entity in data)
    {
        if (resultMap.TryGetValue(entity.Id, out var apiResult))
        {
            entity.RegistrationId = apiResult.RegistrationId;
            entity.JoinUrl = apiResult.JoinUrl;
            entity.IsRegistered = true;
            _db.Entry(entity).State = EntityState.Modified;
        }
    }

    // 6. 异步提交事务
    if (resultMap.Any())
    {
        await uow.CommitAsync();
    }

    return data;
}

额外说明 #

如果你的业务允许部分失败，上述代码已经做了异常隔离，单个实体注册失败不会影响整个批次的处理；如果要求全部成功才提交事务，可以在API请求全部完成后校验失败数量，存在失败则直接抛出异常中断事务提交即可。

内容的提问来源于stack exchange，提问作者RoLYroLLs