Parallel.For仅占10%CPU，如何最大化16核CPU利用率？

核心问题诊断 #

• 内存拷贝开销过大：List.GetRange(i, someWindowSize)会创建新的子列表并拷贝W个元素，这不仅带来大量内存分配（触发GC），还让每个并行任务的大部分时间都消耗在内存拷贝上，而非实际的校验计算，导致CPU核心无法充分利用。
• 原子操作竞争（次要）：Interlocked.Increment虽然线程安全，但高并发下会产生锁竞争，增加额外开销。
• 算法复杂度冗余：原逻辑每次窗口校验都遍历整个W长度的子列表，总复杂度O(N*W)，本身就存在性能瓶颈。

分步优化方案 #

1. 移除不必要的内存拷贝

修改校验逻辑，直接操作原列表的索引区间，彻底避免子列表的创建与拷贝：

private static bool DetermineGoodOrBad(List<double> data, int startIndex, int windowSize, double limit)
{
    for (int j = startIndex; j < startIndex + windowSize; j++)
    {
        if (data[j] > limit)
            return false;
    }
    return true;
}

2. 优化并行累加逻辑，减少原子操作竞争

使用Parallel.For的本地状态重载，每个线程维护独立的本地计数器，最后再合并到全局计数器，避免频繁的原子操作竞争：

public static int CountBadData(List<double> data, int someWindowSize, double limit)
{
    int totalSlidings = data.Count - someWindowSize + 1;
    int badCount = 0;

    Parallel.For(0, totalSlidings,
        // 初始化线程本地计数器
        () => 0,
        // 每个窗口的校验逻辑
        (i, loopState, localCount) =>
        {
            if (!DetermineGoodOrBad(data, i, someWindowSize, limit))
                localCount++;
            return localCount;
        },
        // 合并本地计数器到全局
        localCount => Interlocked.Add(ref badCount, localCount)
    );

    return badCount;
}

3. 算法级优化：将O(N*W)降为O(N)的滑动窗口

上述优化已能提升CPU利用率，但还可以通过滑动窗口的思想彻底降低算法复杂度：
通过维护当前窗口内坏数据的数量，每次滑动仅更新进出窗口的元素状态，无需重新遍历整个窗口：

public static int CountBadDataOptimized(List<double> data, int someWindowSize, double limit)
{
    int badCount = 0;
    int currentBadInWindow = 0;
    int totalSlidings = data.Count - someWindowSize + 1;

    // 初始化第一个窗口的坏数据计数
    for (int j = 0; j < someWindowSize; j++)
    {
        if (data[j] > limit)
            currentBadInWindow++;
    }
    if (currentBadInWindow > 0)
        badCount++;

    // 滑动窗口处理剩余部分
    for (int i = 1; i < totalSlidings; i++)
    {
        // 移除离开窗口的元素（若为坏数据则计数减1）
        if (data[i - 1] > limit)
            currentBadInWindow--;
        // 加入新进入窗口的元素（若为坏数据则计数加1）
        if (data[i + someWindowSize - 1] > limit)
            currentBadInWindow++;
        
        if (currentBadInWindow > 0)
            badCount++;
    }

    // 若数据量极大，可将此线性逻辑拆分为多块并行计算后合并
    return badCount;
}

4. 调整并行参数（可选）

如果CPU利用率仍未拉满，可手动设置并行度匹配核心数，避免调度不足：

var options = new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount };
Parallel.For(0, totalSlidings, options, ...);

效果说明 #

• 移除内存拷贝后，每个并行任务的计算占比大幅提升，CPU核心能专注于校验逻辑，利用率会显著上升。
• 线性滑动窗口算法将时间复杂度从O(N*W)降到O(N)，即使窗口尺寸极大，性能也不会急剧下降，单线程即可跑满CPU。
• 本地计数器的优化减少了原子操作的竞争，进一步提升并行效率。

内容的提问来源于stack exchange，提问作者JAKB824