并行运行任务性能异常下降问题排查求助

核心矛盾：双重调度与资源过载 #

你的代码存在双重调度+CPU/内存资源竞争的问题，直接导致并行时性能暴跌：

1. AsParallel的误用：AsParallel是为CPU密集型任务设计的并行框架，会根据CPU核心数自动调度并行度。但你在Select中使用async，导致AsParallel实际处理的是Task对象，无法感知任务内部的CPU负载，会无限制启动远超CPU承载能力的并行任务。
2. Task.Run的冗余：DoSomeWork里用Task.Run把CPU密集任务再次丢到线程池，相当于AsParallel开了一批线程，Task.Run又开了一批线程池线程，最终线程数量远超CPU核心数，触发上下文切换风暴——CPU在多个线程间频繁切换，大部分时间消耗在切换开销上，而非实际计算。

SHA1任务性能暴跌的关键：内存分配与GC压力 #

SHA1循环操作不仅是CPU密集，还伴随大量高频内存分配：

• 每次循环创建SHA1实例、调用Encoding.UTF8.GetBytes生成字节数组、StringBuilder拼接字符串、新字符串赋值，短时间内会产生大量垃圾对象。
• 多线程并行时，内存分配竞争和GC压力被放大：多个线程同时申请内存，GC需要触发多次Stop-The-World（STW）暂停回收垃圾，每次暂停都会阻塞所有线程；同时堆内存的分配锁竞争也会拖慢每个线程的执行速度。10个并行实例时，这些开销叠加，导致每个任务耗时从2秒暴涨到20秒。

替换代码符合预期的原因 #

1. SpinWait版本 #

Thread.SpinWait(1000)是低优先级忙等操作，不会抢占过多CPU资源，且整个逻辑无内存分配，完全没有GC压力。即使并行运行，线程间资源竞争极小，CPU可以高效调度，不会出现上下文切换和GC的额外开销。

2. Task.Delay版本 #

Task.Delay是异步等待，会立即释放当前线程池线程，任务等待期间不占用CPU资源。并行时，线程池可以复用有限线程处理更多任务，不会出现线程过载，CPU资源能被合理利用。

优化建议 #

针对CPU密集型哈希任务，优化代码以恢复并行性能：

• 去掉冗余的Task.Run：AsParallel本身会调度CPU密集任务的并行执行，无需再用Task.Run包装，避免双重调度。
• 复用SHA1实例：不在循环内每次创建SHA1对象（线程不安全，可在每个并行任务内创建一次并循环复用），减少内存分配。
• 控制并行度：用WithDegreeOfParallelism指定与CPU核心数匹配的并行度，避免过度调度。

优化后的示例代码：

await RunParallel();

private Task RunParallel()
{
    // 指定并行度为CPU核心数，避免过载
    return Task.Run(() => Enumerable.Range(0, 10)
        .AsParallel()
        .WithDegreeOfParallelism(Environment.ProcessorCount)
        .Select(x =>
        {
            AppLogger.WriteInfo($"task {x}");
            DoSomeWork();
        })
        .ToList());
}

private void DoSomeWork()
{
    Stopwatch workWatch = Stopwatch.StartNew();

    string input = "Just some random string to hash it";
    // 每个任务内复用SHA1实例，减少内存分配
    using (SHA1 sha1 = SHA1.Create())
    {
        for (int i = 0; i < 1000000; i++)
        {
            var hash = sha1.ComputeHash(Encoding.UTF8.GetBytes(input));
            var sb = new StringBuilder(hash.Length * 2);

            foreach (byte b in hash)
            {
                sb.Append(b.ToString("X2"));
            }

            input = sb.ToString();
        }
    }

    workWatch.Stop();
    AppLogger.WriteInfo($"Work took {workWatch.Elapsed.TotalSeconds}s");
}

内容的提问来源于stack exchange，提问作者BineG