perf缓存统计机制解析及perf使线程负载均衡的原因咨询

一、perf缓存统计的运行机制 #

perf是Linux下基于**硬件性能计数器（PMC, Performance Monitoring Counters）**的性能分析工具，针对LLC（末级缓存）相关指标的统计逻辑如下：

• 硬件层面：现代CPU的每个核心都内置PMU（性能监控单元），可配置为计数特定硬件事件。你指定的LLC-loads、LLC-load-misses等事件，均为CPU PMU原生支持的LLC操作计数项：
  • LLC-loads：统计从LLC发起的加载请求总数
  • LLC-load-misses：统计LLC加载请求中未命中、需从内存或更慢存储层级获取数据的次数
  • LLC-stores/LLC-store-misses：对应LLC的存储请求及未命中次数
  • LLC-prefetches：统计硬件预取器向LLC发起的预取请求数
• 软件层面：perf通过内核perf子系统与CPU PMU交互：
  1. 执行perf stat命令时，内核会为目标进程/线程绑定的CPU核心配置对应PMU计数器
  2. 程序运行期间，PMU在硬件层面自动计数指定事件，无额外软件干预（开销极低）
  3. 程序退出后，perf读取各核心计数器值，汇总输出统计结果
• 你使用的-B选项会关闭分支预测相关事件统计，进一步聚焦缓存指标，减少不必要的性能开销。

二、为何使用perf后线程负载更均衡 #

你的测试结果显示启用perf统计后线程耗时差异大幅缩小，核心原因可从以下角度分析：

1. CPU频率调度变化：
   现代CPU会根据负载动态调整频率（如Intel睿频、AMD Precision Boost）。未使用perf时，部分线程因内存访问延迟高、CPU利用率波动大，可能被内核调度器降频；而perf运行时，PMU持续计数会让内核判定核心处于持续活跃状态，维持较高稳定频率，避免频率波动导致的线程耗时差异。
2. 缓存竞争间接缓解：
   未使用perf时，程序可能存在线程间LLC缓存竞争——部分线程频繁占用LLC资源，导致其他线程缓存命中率低、耗时变长。perf启用LLC事件统计时，部分CPU的硬件预取器行为会被调整（如PMU计数触发预取策略优化），或线程内存访问模式因微小perf开销被“平滑”，使各线程缓存命中率更接近，进而耗时更均衡。
3. 线程调度隐性调整：
   perf统计时会周期性读取PMU计数器，虽开销极小，但可能促使内核调度器更频繁检查线程状态，更均匀分配CPU时间片，避免单个线程长时间占用核心导致的耗时差异。

需注意，这种现象并非perf的“优化”行为，而是统计过程对硬件/内核调度产生的副作用——perf的核心目标是准确统计性能指标，而非改变程序运行特性。

内容的提问来源于stack exchange，提问作者Jun Huang