Numpy矩阵乘法是否无循环？向量化运算处理器级实现解析

以下代码实现了两个同维度数组的点积，先使用迭代法，再使用Numpy向量化方法。

令人惊讶的是，传统迭代法的执行时间约为35ms，而Numpy方法仅约0.2ms。

代码示例 #

# Dot product 
import time 
import numpy 
import array 

# 8 bytes size int 
a = array.array('q') 
for i in range(100000): 
    a.append(i); 

b = array.array('q') 
for i in range(100000, 200000): 
    b.append(i) 

# classic dot product of vectors implementation 
tic = time.process_time() 
dot = 0.0; 

for i in range(len(a)): 
    dot += a[i] * b[i] 

toc = time.process_time() 

# using numpy method
n_tic = time.process_time() 
n_dot_product = numpy.dot(a, b) 
n_toc = time.process_time() 

核心技术问题解答 #

1. Numpy矩阵乘法在向量化代码中是否完全避免了循环？ #

没有完全避免循环，但循环不是在Python层面执行的，而是转移到了底层编译好的C/汇编代码中，并且做了极致优化。Python的循环是解释执行，每一步都要处理字节码解析、类型校验、对象操作等额外开销，效率极低；而Numpy的底层循环直接运行在CPU原生指令层面，没有解释层的冗余操作，还能利用CPU的SIMD（单指令多数据）指令集，一次操作同时处理多个数据元素，效率远超Python循环。

2. Numpy向量化运算与传统循环代码在处理器层面的内部运行机制有何不同？为何Numpy无需显式迭代就能访问数组元素？ #

• 处理器层面的差异：
  • 传统Python循环：每次迭代都要经过Python解释器中转，涉及大量非计算性的CPU开销，而且无法利用SIMD指令，每次只能处理单个数据元素；同时Python列表/数组的内存存储不一定连续，容易触发CPU缓存失效，进一步拖慢速度。
  • Numpy向量化运算：Numpy数组是同类型数据的连续内存块，底层调用BLAS/LAPACK等高度优化的数学库，这些库会生成直接利用SIMD指令的汇编代码，一次完成多个元素的乘加操作；连续的内存布局也能最大化利用CPU缓存，减少缓存 miss，大幅提升计算效率。
• 无需显式迭代的原因：
  Numpy的API封装了底层的遍历逻辑，它将数组视为整体进行操作，内部通过编译好的底层代码完成元素遍历和计算，把迭代的责任从用户转移到了经过优化的底层实现上，用户只需要调用高层API即可完成运算，不需要在Python层面编写显式循环。

内容的提问来源于stack exchange，提问作者shree