perf c2c分析多线程矩阵乘法：缓存竞争等异常问题问询

1. 只读indices数组出现Cacheline Contention（原预期各线程本地副本） #

• 只读数组不会自动生成线程本地副本：除非显式用std::thread_local或编译器扩展标记为线程本地存储，否则全局/堆上的只读数组会被所有线程共享物理页，CPU缓存一致性协议（如MESI）会在多线程访问时维护缓存状态。
• 伪共享触发争用：如果indices数组的元素密集排布在同一条cacheline内，即使是只读访问，多个线程同时访问不同元素时，会导致cacheline在各核心缓存间频繁同步（进入Shared状态的过程也会产生总线交互），被perf c2c识别为contention。
• 线程迁移放大问题：工作窃取线程池的线程可能在不同CPU核心间动态迁移，原本缓存在某核心L1/L2的cacheline会被迁移到新核心，反复触发缓存加载操作，加剧争用的统计结果。

2. 输出缓冲区C几乎无竞争，部分竞争地址不在C范围且代码地址不匹配 #

• C缓冲区无竞争的原因：矩阵乘法通常按块划分任务，各线程负责独立的行/列块，访问的C缓冲区地址范围无重叠，不存在写-写或读-写竞争，符合任务划分的预期。
• 地址与代码不匹配的原因：
  • 优化导致的符号错位：-O1优化下编译器会做指令重排、函数内联、寄存器分配，perf的栈回溯无法精准对应到原代码行号，出现代码地址不匹配。
  • 线程池调度代码的干扰：工作窃取线程池的任务队列、锁、条件变量等内部结构会产生cache竞争，这些地址不属于C缓冲区，但采样时因栈回溯误差被错误关联到矩阵乘法的代码逻辑上。
  • 超线程与乱序执行的采样误差：Alder-Lake的超线程架构下，同一物理核心的两个逻辑线程共享缓存资源，乱序执行会导致采样的指令地址与实际触发竞争的指令不匹配，出现地址偏移。

3. 大量竞争项CPU计数为1却显示竞争 #

• CPU计数的含义：perf c2c显示的CPU计数是事件采样发生时的CPU编号，而非参与竞争的CPU总数。比如当CPU 0加载某cacheline后，CPU 1访问时触发竞争事件，采样记录的CPU编号是1，但实际是两个CPU参与竞争。
• 超线程的逻辑线程共享：在超线程架构下，同一物理核心的两个逻辑线程共享L1/L2缓存，当它们访问同一条cacheline时，会被识别为竞争，但采样仅记录其中一个逻辑线程的编号，导致计数为1。
• 缓存一致性的隐式统计：perf c2c会通过缓存一致性协议的事件（如LLC miss、snoop请求）判定竞争，即使仅采样到一个CPU的事件，只要该cacheline存在其他CPU的访问记录，就会标记为竞争。

内容的提问来源于stack exchange，提问作者fabian