如何测试intrinsic函数的延迟与吞吐量？含AMD平台测试及乱序执行规避方法

常用测试工具 #

• uArch-bench：专门针对x86/AMD64微架构的基准测试工具，能直接测试各类intrinsic的延迟、吞吐量，自带应对乱序执行的测试逻辑，输出结果清晰直观。
• LLVM-MCA：LLVM旗下的微架构分析工具，无需实际运行代码，通过静态模拟指令执行流程，就能给出延迟、吞吐量数据。使用时需指定对应AMD微架构参数（比如针对Zen3用-mcpu=znver3）。
• 自定义测试代码：灵活性最高，适合针对特定intrinsic做定制化测试。

延迟测试规避乱序执行的核心手段 #

要测出真实延迟，关键是让CPU无法通过乱序调度并行执行测试指令，核心方法是构造强数据依赖链：

• 让每一条测试指令的输入完全依赖上一条指令的输出，迫使CPU只能串行处理。比如测试_mm256_add_ps的延迟，代码可以这么写：

  __m256 a = _mm256_set1_ps(1.0f);
  // 足够多的迭代次数，减少循环开销影响
  for (int i = 0; i < 1000000; i++) {
      a = _mm256_add_ps(a, a);
  }
  

  这里每次加法的操作数都来自前一次的结果，CPU没法并行执行这些加法，只能按顺序完成，从而测出真实延迟。
• 避免使用分支判断（除了固定次数的循环），防止分支预测打乱执行顺序。
• 测试内存类intrinsic（比如_mm256_loadu_ps）时，先把数据预加载到L1缓存，避免缓存缺失干扰测试结果。
• 用足够多的迭代次数（百万级以上），降低循环本身的开销对测试结果的影响。

测试结果计算 #

1. 使用高精度计时器（比如rdtsc指令，或者C++11的std::chrono::high_resolution_clock）记录测试循环的总执行周期/时间。
2. 多次测试取平均值，消除系统噪声。
3. 延迟计算：总周期数 ÷ 迭代次数，得到单条指令的延迟。
4. 吞吐量计算：迭代次数 ÷ 总周期数，再结合指令的数据宽度（比如256位指令一次处理8个单精度浮点数），可以得到单位周期处理的数据量。

内容的提问来源于stack exchange，提问作者Frontier_Setter