OpenBLAS是否采用快速矩阵乘法算法？实测性能超峰值存疑

核心结论 #

OpenBLAS默认实现并未集成Strassen或Winograd这类快速矩阵乘法算法，这也是你在代码库中找不到相关关键词的原因。

实测性能超理论峰值的原因 #

你计算的单核心峰值性能（48 Gflops/s）是基于纯FMA指令的理想情况，但实测达到55 Gflops/s可能由以下因素导致：

• 运算量统计偏差：你采用的2×N³是矩阵乘法的理论运算量，但OpenBLAS的优化实现会通过循环展开、寄存器重排等手段减少冗余操作，或利用硬件预取/并行执行特性，使得实际统计的有效浮点运算数高于理论值。
• Zen3架构的额外浮点单元：AMD Epyc 7313属于Zen3架构，单核心除了FMA单元外，还具备独立的浮点加法/乘法单元，在特定优化路径下，这些单元可与FMA单元并行工作，突破纯FMA计算的峰值限制。

OpenBLAS大矩阵乘法的优化方式 #

对于10000×10000这种规模的矩阵，OpenBLAS主要依靠以下优化手段提升性能：

• 分块矩阵乘法（Blocking）：将大矩阵拆分为适配各级缓存的小分块，减少缓存失效带来的性能损耗。
• 寄存器级优化：充分利用AVX2寄存器的宽度，最大化单指令处理的浮点元素数量。
• 缓存友好的内存访问模式：通过调整循环顺序（如ijk→ikj），让内存访问符合缓存的局部性原理。

额外说明 #

如果需要Strassen算法的支持，可考虑使用Intel MKL或部分版本的BLIS库，但OpenBLAS本身目前没有内置该功能。

内容的提问来源于stack exchange，提问作者asdfldsfdfjjf