为何提升并行度会降低CPU效率？Parallel.For性能优化问询

问题背景 #

我用Parallel.For优化耗时代码，简化后的代码如下。当MaxDegreeOfParallelism从1提升至2时，任务耗时几乎减半；从2提升至3时，耗时仅减少四分之一，后续提升并行度的性能收益愈发有限。但任务管理器中的CPU占用率呈线性上升——并行度越高，CPU负载越大，性能提升却越来越低。

using System.Diagnostics;
float sum = 0f;
Stopwatch sw = Stopwatch.StartNew();

Parallel.For(0, 1000, new ParallelOptions { MaxDegreeOfParallelism = -1 }, (iter) =>
{
    float answer = 0f;
    for (int i = 0; i < 100000; i++)
    {
        for (int j = 0; j < 100; j++)
            answer += MathF.Sqrt(i * j);
    }
    sum += answer;
});

Console.WriteLine($"{sw.ElapsedMilliseconds} {sum}");

测试在Release模式下完成，使用CPU为4核8线程。

现象原因 #

这是阿姆达尔定律的典型体现，程序加速比受限于串行/竞争开销的占比，具体原因包括：

• 全局变量竞争：多个线程同时修改sum，sum += answer并非原子操作，底层会触发CAS（比较并交换）或锁操作，线程越多，竞争越激烈，等待时间越长。
• 超线程资源限制：4核8线程的CPU中，逻辑核心共享物理核心的浮点运算单元（FPU）、缓存等资源。并行度超过物理核心数后，新增线程无法获得独立计算资源，只能等待共享单元空闲，效率自然下降。
• 线程调度开销：并行度超过核心数时，操作系统会频繁切换线程上下文，保存/恢复寄存器、栈状态等，这部分开销会抵消计算收益。

CPU周期消耗点 #

• 锁竞争与CAS重试：sum的修改操作需要线程同步，大量CPU周期浪费在CAS失败后的重试、线程等待上。
• 上下文切换：线程数超过核心数时，操作系统的线程切换操作纯消耗CPU周期，无任何计算收益。
• 缓存失效（伪共享）：多个线程写入sum会导致CPU缓存行失效，触发缓存同步，额外消耗内存带宽和CPU周期。
• 超线程资源争抢：逻辑核心共享物理核心的计算资源，并行度过高时，多个线程争抢FPU、缓存，导致单线程执行效率下降。

优化方案 #

1. 消除全局变量竞争 #

使用Parallel.For的本地状态功能，每个线程维护独立的局部累加器，最后再合并结果，彻底避免锁竞争：

using System.Diagnostics;
using System.Threading;

Stopwatch sw = Stopwatch.StartNew();
float totalSum = 0f;

Parallel.For(0, 1000, 
    () => 0f, // 初始化线程本地累加器
    (iter, state, localSum) =>
    {
        float answer = 0f;
        for (int i = 1; i < 100000; i++)
        {
            for (int j = 1; j < 100; j++)
                answer += MathF.Sqrt((float)(i * j));
        }
        return localSum + answer;
    },
    localSum => Interlocked.Add(ref totalSum, localSum) // 线程安全合并，此时竞争极少
);

Console.WriteLine($"{sw.ElapsedMilliseconds} {totalSum}");

2. 限制并行度到物理核心数 #

设置MaxDegreeOfParallelism = Environment.ProcessorCount / 2（即4），避免超线程带来的资源竞争，让每个物理核心只运行一个线程，最大化计算效率：

new ParallelOptions { MaxDegreeOfParallelism = 4 }

3. 优化计算逻辑 #

• 跳过无效计算：当i=0或j=0时，MathF.Sqrt(0)=0，直接跳过这些循环，减少无意义运算。
• 提前类型转换：将i*j提前转为float，避免循环内的隐式类型转换开销。

4. 利用SIMD加速计算 #

借助.NET的System.Numerics库，使用SIMD（单指令多数据）批量处理平方根计算和累加，提升单线程计算效率：

using System.Numerics;
// ...
float answer = 0f;
for (int i = 1; i < 100000; i++)
{
    int j = 1;
    // 批量处理j的循环，利用SIMD指令一次计算多个值
    for (; j <= 100 - Vector<float>.Count; j += Vector<float>.Count)
    {
        Vector<int> jVector = new Vector<int>(Enumerable.Range(j, Vector<float>.Count).ToArray());
        Vector<float> ijVector = Vector.Multiply(new Vector<float>(i), Vector.AsVectorSingle(jVector));
        Vector<float> sqrtVector = Vector.Sqrt(ijVector);
        answer += Vector.Dot(sqrtVector, Vector<float>.One);
    }
    // 处理剩余的j
    for (; j < 100; j++)
    {
        answer += MathF.Sqrt((float)(i * j));
    }
}

内容的提问来源于stack exchange，提问作者jrw