Windows平台求和运算时间测量随机性的成因与解决方案问询

测试背景与结果 #

最近我在一台搭载3.2GHz四核CPU、24GB内存的Windows机器上，对简单求和重复运算做了10000次重复时间测量。测试期间CPU使用率维持在2-4%，内存占用仅10%，系统资源非常充足。

测试结果统计（单位：ms）：

• N（测试次数）: 10000
• Minimum: 2.31406
• Maximum: 64.7171
• Mean : 2.43556
• Std : 0.676273
• M+6Std : 3.11184

从结果能看到，绝大多数情况下求和耗时不足3ms，但偶尔会出现耗时达到常规值20倍的极端情况。我理解这种时间分布属于右尾极长的指数分布，会存在较大的最大值，但还是有两个疑问想和大家探讨：

1. 这种耗时随机性（波动）的成因是什么？
2. 针对该随机性的解决方案是什么？能否避免罕见的最大耗时？

问题解答 #

1. 耗时波动的成因 #

哪怕CPU和内存资源看起来很充足，Windows作为多任务操作系统，依然有不少因素会打断单个进程的执行：

• 系统线程调度：Windows调度器会定期切换线程，就算你的进程优先级不低，也可能被系统服务、后台进程（比如杀毒软件后台扫描、系统更新组件、云同步任务等）抢占CPU时间片，导致求和运算被迫暂停，拉长单次耗时。
• 硬件中断：磁盘I/O中断、网络中断、外设（鼠标/键盘）操作引发的中断等，都会迫使CPU暂时停下当前任务去处理硬件请求，哪怕你的程序没做I/O操作，也会受到影响。
• CPU节能机制：现代CPU都有动态调频功能（比如Intel的SpeedStep、AMD的Cool'n'Quiet），当CPU处于低负载状态（本次测试中CPU使用率仅2-4%），会自动降频节省功耗。当你的程序需要连续运算时，CPU需要一点时间升频到最高主频，这部分升频时间会被计入单次运算耗时。
• 缓存失效：虽然求和逻辑简单，但偶尔会出现缓存未命中的情况——比如其他进程占用了大量缓存，导致你的程序数据被挤出缓存，此时CPU需要从内存读取数据，速度远慢于缓存，进而增加耗时。

2. 解决方案与避免极端耗时的方法 #

完全消除极端耗时很难，但可以通过一些手段大幅降低其发生概率或影响：

• 提高进程优先级：在Windows任务管理器中，将你的程序进程优先级设置为“高”（谨慎使用“实时”优先级，可能影响系统正常响应），减少系统调度时被抢占的概率。
• 绑定CPU核心：利用Windows的CPU亲和性设置，将你的程序绑定到某几个空闲的CPU核心上，避免其他进程与你的程序共享核心，减少调度切换和缓存竞争。
• 关闭冗余后台进程：暂时关闭杀毒软件、自动更新、云同步等非必要后台服务，减少系统层面的干扰。
• CPU预热：在正式测试前先运行几轮求和运算，让CPU升频到最高主频，同时让数据加载到缓存中，避免初始几次运算的额外耗时。
• 剔除统计异常值：如果你的场景允许，可以在统计结果时去掉极端大的异常值（比如超过均值+3倍标准差的数值），避免这些罕见情况干扰整体统计结论。
• 切换实时操作系统：如果对延迟要求极高，普通Windows可能无法满足，可以考虑使用实时操作系统（RTOS），但这成本较高，仅适合极端场景。

测试代码 #

#include "stdafx.h"
#include <Windows.h>
#include <iostream>
int main() {
    LARGE_INTEGER t_start, t_end, Frequency;
    double tdiff,minx=1e+307,maxx=-1e+307,meanx=0,stdx=0;
    int niter = 10000;
    for (int j = 0;j < niter;j++) {
        QueryPerformanceFrequency(&Frequency);
        QueryPerformanceCounter(&t_start);
        double s = 0;
        for (int i = 0;i < 1000000;i++)
            s += i;
        QueryPerformanceCounter(&t_end);
        tdiff = (double)(t_end.QuadPart - t_start.QuadPart) / (double)Frequency.QuadPart * 1000;
        minx = min(minx, tdiff);
        maxx = max(maxx, tdiff);
        meanx += tdiff;
        stdx += tdiff*tdiff;
        //std::cout << "Iteration: " << j << " Time (ms): " << tdiff << std::endl;
    }
    meanx /= (double)niter;
    stdx = sqrt((stdx - (double)niter*meanx*meanx) / (double)(niter - 1));
    std::cout << "Time Statistics (ms) " << std::endl << std::endl;
    std::cout << "N : " << niter << std::endl;
    std::cout << "Minimum: " << minx << std::endl;
    std::cout << "Maximum: " << maxx << std::endl;
    std::cout << "Mean : " << meanx << std::endl;
    std::cout << "Std : " << stdx << std::endl;
    std::cout << "M+6Std : " << meanx+stdx << std::endl;
    return 0;
}

内容的提问来源于stack exchange，提问作者Tae-Sung Shin