C#下如何按resourceId精准取消并行异步API调用批次
现有逻辑说明
已搭建一套包含MainProcess.cs与ChildProcess.cs的并行处理逻辑:MainProcess负责收集所有必要信息,将数据传入Parallel.ForEach循环并行提交任务;ChildProcess逻辑会针对每个任务调用独立API。
MainProcess.cs核心代码
//MainProcess.cs string resourceId = GenerateUID(); Parallel.ForEach(Accounts, parallelOptions, async (account) => { await childProcess.ProcessMethod(resourceId, account); });
ChildProcess.cs核心代码
//ChildProcess.cs public async Task ProcessMethod(string resourceId, string account){ var Req = {}; //在此处设置所需请求信息 using (HttpClient client = new HttpClient()) { var result = await client.PostAsJsonAsync($"{baseUrl}api/services/app/Process/Run", Req); if (result.IsSuccessStatusCode) { //将返回结果关联resourceId存入数据库(见图1) } } }
数据库存储结果的表结构如图1所示:
需求与现存问题
当前上述代码与流程已可正常运行。核心需求是支持在指定时间点终止整个处理流程:同属一个resourceId的整批并行API调用总耗时约10秒,若在流程启动后的第4秒触发取消指令,此时部分请求(如Call1、Call5)已收到响应,需正常保留结果;其余请求(Call2、Call3、Call4)已发送但尚未收到响应,需要立即终止,效果类似浏览器输入URL回车后、页面加载完成前关闭标签页,不再关注未完成请求的后续响应。
此前尝试使用CancellationToken实现取消逻辑,但无法实现按指定resourceId粒度精准取消API调用:在ChildProcess中新增了实例变量CancellationTokenSource tokenSource = new CancellationTokenSource();,并修改API调用代码将Token传入请求方法:
var result = await client.PostAsJsonAsync($"{baseUrl}api/services/app/Process/Run", Req, tokenSource.Token);
已知可以通过调用tokenSource.Cancel()触发取消,但核心难点是:由于ProcessMethod会被多个resourceId的任务并发调用,如何从外部方法针对指定的resourceId精准触发取消,仅终止该resourceId关联的所有流程,完全不影响其他正在处理的resourceId批次的任务?
可落地实现方案
核心思路
建立resourceId与对应CancellationTokenSource的线程安全映射表,每次启动新批次时为该resourceId创建独立的令牌源,所有该批次下的请求共用该令牌;外部触发取消时,直接根据resourceId找到对应的令牌源调用Cancel()即可,完全隔离不同批次的令牌。
具体实现
新增全局批次令牌管理类
用线程安全字典存储resourceId与对应令牌源,自动处理资源释放,避免内存泄漏:public static class BatchCancellationManager { // 线程安全字典,存储每个批次的令牌源实例 private static readonly ConcurrentDictionary<string, CancellationTokenSource> _batchTokens = new(); /// <summary> /// 为新启动的批次创建独立令牌源 /// </summary> public static CancellationToken CreateBatchToken(string resourceId) { // 兼容重复提交场景,先清理同resourceId的旧令牌 if (_batchTokens.TryRemove(resourceId, out var oldCts)) { oldCts.Dispose(); } var cts = new CancellationTokenSource(); _batchTokens.TryAdd(resourceId, cts); return cts.Token; } /// <summary> /// 外部调用入口:根据resourceId取消对应批次的所有任务 /// </summary> public static void CancelBatch(string resourceId) { if (_batchTokens.TryGetValue(resourceId, out var cts)) { // 触发取消,所有使用该令牌的未完成请求会立即终止 cts.Cancel(); // 取消完成后释放资源 if (_batchTokens.TryRemove(resourceId, out var disposedCts)) { disposedCts.Dispose(); } } } /// <summary> /// 批次全部任务完成后调用,释放令牌资源 /// </summary> public static void ReleaseBatch(string resourceId) { if (_batchTokens.TryRemove(resourceId, out var cts)) { cts.Dispose(); } } }修正MainProcess逻辑
启动批次时创建对应令牌,批次全量任务执行完成后释放资源,同时修正原有Parallel.ForEach搭配async lambda的兼容问题:- .NET 6+环境推荐使用原生
Parallel.ForEachAsync,从根源避免async void导致的循环提前退出问题://MainProcess.cs string resourceId = GenerateUID(); // 为当前批次创建独立取消令牌 var batchToken = BatchCancellationManager.CreateBatchToken(resourceId); try { // 替换Parallel.ForEach为Parallel.ForEachAsync,正确等待所有异步并行任务完成 await Parallel.ForEachAsync(Accounts, parallelOptions, async (account, ct) => { // 关联外部传入的循环令牌与批次令牌 using var linkedCts = CancellationTokenSource.CreateLinkedTokenSource(batchToken, ct); // 传递令牌给子进程方法 await childProcess.ProcessMethod(resourceId, account, linkedCts.Token); }); } finally { // 无论批次正常完成还是被取消,都自动释放令牌资源 BatchCancellationManager.ReleaseBatch(resourceId); } - .NET Framework环境无
Parallel.ForEachAsync,可通过信号量控制并行度实现等价效果://MainProcess.cs(.NET Framework版本) string resourceId = GenerateUID(); var batchToken = BatchCancellationManager.CreateBatchToken(resourceId); try { // 用信号量控制并行度,参数与原有parallelOptions.MaxDegreeOfParallelism保持一致 int maxParallel = parallelOptions.MaxDegreeOfParallelism == -1 ? Environment.ProcessorCount : parallelOptions.MaxDegreeOfParallelism; using var semaphore = new SemaphoreSlim(maxParallel, maxParallel); var tasks = Accounts.Select(async account => { await semaphore.WaitAsync(batchToken); try { await childProcess.ProcessMethod(resourceId, account, batchToken); } finally { semaphore.Release(); } }); // 等待所有并行任务完成 await Task.WhenAll(tasks); } finally { BatchCancellationManager.ReleaseBatch(resourceId); }
- .NET 6+环境推荐使用原生
修改ChildProcess逻辑
接收外部传入的批次令牌,直接用于API调用,无需自行新建令牌源,同时捕获取消异常避免线程崩溃://ChildProcess.cs public async Task ProcessMethod(string resourceId, string account, CancellationToken cancellationToken) { var Req = {}; //在此处设置所需请求信息 // 生产环境建议复用单例HttpClient,不要每次请求都new,避免socket端口耗尽 using (HttpClient client = new HttpClient()) { try { // 将令牌传入API请求方法 var result = await client.PostAsJsonAsync($"{baseUrl}api/services/app/Process/Run", Req, cancellationToken); if (result.IsSuccessStatusCode) { // 将返回结果关联resourceId存入数据库 } } catch (OperationCanceledException) { // 捕获主动取消的异常,直接跳过后续逻辑即可 // 已完成响应、走完数据库写入流程的请求不受影响,结果正常保留 } } }
效果验证
- 隔离性:每个
resourceId对应独立的令牌源,调用BatchCancellationManager.CancelBatch("指定resourceId")时,只会终止该批次下未完成的API请求,完全不影响其他正在运行的批次。 - 结果保留:已经拿到响应、完成数据库写入的请求不会被取消逻辑影响,结果正常留存;未完成的请求会在取消触发时立即终止,不再等待后续响应。
- 资源安全:批次正常完成或触发取消后,对应的令牌源会被自动释放,无内存泄漏风险。
内容的提问来源于stack exchange,提问作者weeraa

