并行程序在32核4线程机器上运行时加速比曲线出现锯齿波动的原因

• 硬件环境：配备32核心、4线程上下文的机器
• 异常现象：运行并行程序时，统计生成的加速比曲线图存在大量锯齿状波动，不符合加速比随线程数增加平滑变化的预期
• 现象截图：
  

这类锯齿波动没有特殊玄学，本质是程序运行过程中可用算力、访存延迟、同步开销三类核心影响因素出现不规则跳变导致的，常见诱因如下：

• 线程超配引发的调度抢占：如果运行时设置的并行线程数超过硬件可同时承载的线程上下文上限，操作系统会启动时间片轮转调度，多个就绪线程反复抢占CPU核心资源。每次上下文切换都会产生寄存器状态保存恢复、核心私有缓存失效的额外开销，不同调度周期的切换频次、被高优先级进程打断的时长完全随机，直接造成程序运行时间跳变，反映在曲线上就是锯齿。
• 缓存与NUMA访存抖动：32核级别的CPU基本都采用NUMA架构，核心私有L1/L2缓存、跨NUMA节点的共享L3缓存/内存的访问延迟差可达10到100倍。如果没有做线程核心绑定，线程被操作系统调度迁移到其他核心时，之前预取到本地缓存的热点数据会全部失效，需要重新从高延迟存储层级加载数据，这部分延迟的随机波动会直接造成单次运行性能的起伏。
• 系统后台噪声干扰：操作系统自带的守护进程、日志服务、监控代理等后台任务会不定期占用CPU、内存带宽、IO资源，和并行程序争抢算力。后台负载偶发升高时程序可用算力下降，运行耗时变长；后台任务休眠时性能回升，高低交错就会形成曲线上的锯齿。
• 屏障同步的等待耗时波动：如果并行逻辑采用静态任务切分、全局屏障同步的设计，不同线程分配到的任务计算量本身存在差异，每轮计算都要等最慢的线程跑完才能进入下一轮。当线程数和物理核心数不匹配、任务切分粒度不均匀时，每轮的等待耗时会出现无规律波动，带来整体性能的锯齿状起伏。
• 测量方法引入的噪声：如果加速比数据是单次运行直接采样得到，没有做多次重复运行取中位数/平均值、剔除异常值的处理，系统层面的所有随机噪声都会完整保留在曲线里，锯齿感会比经过平滑处理的曲线明显得多。

内容的提问来源于stack exchange，提问作者Hassan Gillani