You need to enable JavaScript to run this app. C#下如何按resourceId精准取消并行异步API调用批次
优惠活动
大模型
产品
解决方案
定价
更多

C#下如何按resourceId精准取消并行异步API调用批次

按resourceId粒度精准终止并行API调用批次实现

现有逻辑说明

已搭建一套包含MainProcess.cs与ChildProcess.cs的并行处理逻辑:MainProcess负责收集所有必要信息,将数据传入Parallel.ForEach循环并行提交任务;ChildProcess逻辑会针对每个任务调用独立API。

MainProcess.cs核心代码

//MainProcess.cs
string resourceId = GenerateUID();
Parallel.ForEach(Accounts, parallelOptions, async (account) =>
{                
    await childProcess.ProcessMethod(resourceId, account);
});

ChildProcess.cs核心代码

//ChildProcess.cs
public async Task ProcessMethod(string resourceId, string account){
    var Req = {}; //在此处设置所需请求信息
    using (HttpClient client = new HttpClient())
    {
        var result = await client.PostAsJsonAsync($"{baseUrl}api/services/app/Process/Run", Req);
        if (result.IsSuccessStatusCode)
        {
            //将返回结果关联resourceId存入数据库(见图1)
        }
    }
}

数据库存储结果的表结构如图1所示:
关联resourceId存储的结果表结构

需求与现存问题

当前上述代码与流程已可正常运行。核心需求是支持在指定时间点终止整个处理流程:同属一个resourceId的整批并行API调用总耗时约10秒,若在流程启动后的第4秒触发取消指令,此时部分请求(如Call1、Call5)已收到响应,需正常保留结果;其余请求(Call2、Call3、Call4)已发送但尚未收到响应,需要立即终止,效果类似浏览器输入URL回车后、页面加载完成前关闭标签页,不再关注未完成请求的后续响应。

此前尝试使用CancellationToken实现取消逻辑,但无法实现按指定resourceId粒度精准取消API调用:在ChildProcess中新增了实例变量CancellationTokenSource tokenSource = new CancellationTokenSource();,并修改API调用代码将Token传入请求方法:

var result = await client.PostAsJsonAsync($"{baseUrl}api/services/app/Process/Run", Req, tokenSource.Token);

已知可以通过调用tokenSource.Cancel()触发取消,但核心难点是:由于ProcessMethod会被多个resourceId的任务并发调用,如何从外部方法针对指定的resourceId精准触发取消,仅终止该resourceId关联的所有流程,完全不影响其他正在处理的resourceId批次的任务?


可落地实现方案

核心思路

建立resourceId与对应CancellationTokenSource的线程安全映射表,每次启动新批次时为该resourceId创建独立的令牌源,所有该批次下的请求共用该令牌;外部触发取消时,直接根据resourceId找到对应的令牌源调用Cancel()即可,完全隔离不同批次的令牌。

具体实现

  1. 新增全局批次令牌管理类
    用线程安全字典存储resourceId与对应令牌源,自动处理资源释放,避免内存泄漏:

    public static class BatchCancellationManager
    {
        // 线程安全字典,存储每个批次的令牌源实例
        private static readonly ConcurrentDictionary<string, CancellationTokenSource> _batchTokens = new();
    
        /// <summary>
        /// 为新启动的批次创建独立令牌源
        /// </summary>
        public static CancellationToken CreateBatchToken(string resourceId)
        {
            // 兼容重复提交场景,先清理同resourceId的旧令牌
            if (_batchTokens.TryRemove(resourceId, out var oldCts))
            {
                oldCts.Dispose();
            }
            var cts = new CancellationTokenSource();
            _batchTokens.TryAdd(resourceId, cts);
            return cts.Token;
        }
    
        /// <summary>
        /// 外部调用入口:根据resourceId取消对应批次的所有任务
        /// </summary>
        public static void CancelBatch(string resourceId)
        {
            if (_batchTokens.TryGetValue(resourceId, out var cts))
            {
                // 触发取消,所有使用该令牌的未完成请求会立即终止
                cts.Cancel();
                // 取消完成后释放资源
                if (_batchTokens.TryRemove(resourceId, out var disposedCts))
                {
                    disposedCts.Dispose();
                }
            }
        }
    
        /// <summary>
        /// 批次全部任务完成后调用,释放令牌资源
        /// </summary>
        public static void ReleaseBatch(string resourceId)
        {
            if (_batchTokens.TryRemove(resourceId, out var cts))
            {
                cts.Dispose();
            }
        }
    }
    
  2. 修正MainProcess逻辑
    启动批次时创建对应令牌,批次全量任务执行完成后释放资源,同时修正原有Parallel.ForEach搭配async lambda的兼容问题:

    • .NET 6+环境推荐使用原生Parallel.ForEachAsync,从根源避免async void导致的循环提前退出问题:
      //MainProcess.cs
      string resourceId = GenerateUID();
      // 为当前批次创建独立取消令牌
      var batchToken = BatchCancellationManager.CreateBatchToken(resourceId);
      
      try
      {
          // 替换Parallel.ForEach为Parallel.ForEachAsync,正确等待所有异步并行任务完成
          await Parallel.ForEachAsync(Accounts, parallelOptions, async (account, ct) =>
          {                
              // 关联外部传入的循环令牌与批次令牌
              using var linkedCts = CancellationTokenSource.CreateLinkedTokenSource(batchToken, ct);
              // 传递令牌给子进程方法
              await childProcess.ProcessMethod(resourceId, account, linkedCts.Token);
          });
      }
      finally
      {
          // 无论批次正常完成还是被取消,都自动释放令牌资源
          BatchCancellationManager.ReleaseBatch(resourceId);
      }
      
    • .NET Framework环境无Parallel.ForEachAsync,可通过信号量控制并行度实现等价效果:
      //MainProcess.cs(.NET Framework版本)
      string resourceId = GenerateUID();
      var batchToken = BatchCancellationManager.CreateBatchToken(resourceId);
      
      try
      {
          // 用信号量控制并行度,参数与原有parallelOptions.MaxDegreeOfParallelism保持一致
          int maxParallel = parallelOptions.MaxDegreeOfParallelism == -1 
              ? Environment.ProcessorCount 
              : parallelOptions.MaxDegreeOfParallelism;
          using var semaphore = new SemaphoreSlim(maxParallel, maxParallel);
          
          var tasks = Accounts.Select(async account =>
          {
              await semaphore.WaitAsync(batchToken);
              try
              {
                  await childProcess.ProcessMethod(resourceId, account, batchToken);
              }
              finally
              {
                  semaphore.Release();
              }
          });
          // 等待所有并行任务完成
          await Task.WhenAll(tasks);
      }
      finally
      {
          BatchCancellationManager.ReleaseBatch(resourceId);
      }
      
  3. 修改ChildProcess逻辑
    接收外部传入的批次令牌,直接用于API调用,无需自行新建令牌源,同时捕获取消异常避免线程崩溃:

    //ChildProcess.cs
    public async Task ProcessMethod(string resourceId, string account, CancellationToken cancellationToken)
    {
        var Req = {}; //在此处设置所需请求信息
    
        // 生产环境建议复用单例HttpClient,不要每次请求都new,避免socket端口耗尽
        using (HttpClient client = new HttpClient())
        {
            try
            {
                // 将令牌传入API请求方法
                var result = await client.PostAsJsonAsync($"{baseUrl}api/services/app/Process/Run", Req, cancellationToken);
                if (result.IsSuccessStatusCode)
                {
                    // 将返回结果关联resourceId存入数据库
                }
            }
            catch (OperationCanceledException)
            {
                // 捕获主动取消的异常,直接跳过后续逻辑即可
                // 已完成响应、走完数据库写入流程的请求不受影响,结果正常保留
            }
        }
    }
    

效果验证

  • 隔离性:每个resourceId对应独立的令牌源,调用BatchCancellationManager.CancelBatch("指定resourceId")时,只会终止该批次下未完成的API请求,完全不影响其他正在运行的批次。
  • 结果保留:已经拿到响应、完成数据库写入的请求不会被取消逻辑影响,结果正常留存;未完成的请求会在取消触发时立即终止,不再等待后续响应。
  • 资源安全:批次正常完成或触发取消后,对应的令牌源会被自动释放,无内存泄漏风险。

内容的提问来源于stack exchange,提问作者weeraa

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 02:06:02