同步3万+产品时触发TaskCanceledException问题求助

1. 先定位TaskCanceledException的真实原因 #

捕获异常时务必输出InnerException，区分两种核心场景：

• 如果内部是TimeoutException：说明单请求超时
• 如果内部是HttpRequestException且包含"The request was canceled"：大概率是服务器主动断开连接或TCP连接池耗尽

2. 修复HttpClient的使用方式 #

• 必须全局复用HttpClient实例：禁止每次请求新建HttpClient，频繁创建会耗尽TCP连接池，导致后续请求无法建立连接触发取消异常。推荐使用依赖注入的IHttpClientFactory或单例模式：

  // 依赖注入注册示例
  services.AddHttpClient<ApiHelper>(client => {
      client.Timeout = TimeSpan.FromSeconds(60);
      // 其他配置
  });
  

• 按需调整超时粒度：全局60秒可能不足以覆盖个别大请求，可给单请求单独设置更长超时：

  using var cts = new CancellationTokenSource(TimeSpan.FromMinutes(3));
  var response = await _httpClient.GetAsync("/api/products", cts.Token);
  

3. 批量同步的并发控制 #

同步3万+数据时必须限制并发数，避免压垮服务器或本地连接池：

• 使用SemaphoreSlim控制并发量（比如限制为10）：

  var semaphore = new SemaphoreSlim(10);
  var syncTasks = productIds.Select(async id => {
      await semaphore.WaitAsync();
      try {
          var product = await GetAllProducts(id);
          // 写入本地数据库逻辑
      } finally {
          semaphore.Release();
      }
  });
  await Task.WhenAll(syncTasks);
  

• 分批次处理：比如每1000条为一批，处理完一批再启动下一批，避免长时间占用连接资源。

4. 添加异常重试机制 #

针对临时网络波动或服务器繁忙，对取消异常添加重试逻辑：

// 自定义重试逻辑，或使用Polly库
async Task<Product> GetProductWithRetry(int productId)
{
    int retryCount = 3;
    while (retryCount > 0)
    {
        try
        {
            return await GetAllProducts(productId);
        }
        catch (TaskCanceledException)
        {
            retryCount--;
            if (retryCount == 0) throw;
            await Task.Delay(TimeSpan.FromSeconds(2 * (3 - retryCount)));
        }
    }
    throw new InvalidOperationException("重试次数耗尽");
}

5. 优化本地数据库写入 #

如果同步中断发生在数据库写入阶段，需优化写入逻辑：

• 使用批量插入替代单条插入（比如EF Core用EFCore.BulkExtensions的BulkInsert）
• 异步执行数据库操作，避免阻塞请求线程

内容的提问来源于stack exchange，提问作者zilon co