实际应用中采用何种矩阵乘法算法？BLAS及CUDA场景咨询

一、传统BLAS库的优先算法 #

• 优先采用分块矩阵乘法，本质是对朴素O(n³)算法的工程优化——通过拆分矩阵适配CPU缓存层级，大幅降低内存访问的开销，实际运行效率远高于朴素实现，但渐近复杂度仍为O(n³)。
• 像OpenBLAS、MKL这类高性能BLAS实现，还会结合循环展开、SIMD指令并行等技术进一步压榨CPU性能，但核心逻辑仍是分块思想，渐近复杂度没有变化。

二、CUDA等GPU加速器中的算法 #

• 主流采用层级化分块矩阵乘法，完全适配GPU的内存层次（寄存器、共享内存、全局内存）：
  • 先把大矩阵切割成适合线程块处理的子块，用共享内存缓存重复访问的数据，规避全局内存的高延迟；
  • 搭配warp级并行、Tensor Core混合精度计算等特性提升吞吐量，但单设备上的核心算法渐近复杂度仍为O(n³)。
  • 针对超大矩阵的分布式场景，会增加多设备并行策略，但单设备内的核心逻辑复杂度不变。

三、关于渐近复杂度的说明 #

• 目前工业界实用的BLAS、CUDA矩阵乘法算法，渐近复杂度全为O(n³)。那些理论上复杂度更低的算法（如Strassen、Coppersmith-Winograd算法），因为常数因子过大、内存开销高、数值稳定性差等问题，仅在极少数极端场景（超大规模矩阵且对精度要求宽松）下可能被尝试，并未成为主流选择。

内容的提问来源于stack exchange，提问作者Jsevillamol