为什么for循环比NumPy广播操作慢这么多？

对比两段实现简单矩阵运算的代码，嵌套for循环版本的运行速度慢得多，以下是具体代码和耗时：

嵌套for循环版本（耗时2.5秒） #

m = np.zeros((800,8000)) 
for i in range(0,800):
    for j in range(0,8000):
        m[i,j] = i+j
print(m)

NumPy广播版本（耗时0.05秒） #

a = np.tile(np.arange(0,8000), (800, 1))
b = np.arange(0,800)
b = b[:,None]
print(a + b)

造成两者性能天差地别的底层原因主要有这几点：

• Python解释器的循环开销：Python是解释型语言，每一次循环迭代都要经过解释器解析代码、执行指令，还要处理循环变量更新、边界判断这些额外逻辑。这次例子里有640万次迭代，每次的小开销累积起来就成了大负担。而NumPy的广播运算基于C语言实现，代码直接编译成机器指令执行，完全绕开了解释器的额外开销。

• 内存访问效率的差距：嵌套循环里每次只读写单个数组元素，属于零散的内存访问，CPU的缓存机制根本发挥不了作用——缓存命中率极低，每次都得从速度慢的主存取数据。NumPy数组在内存中是连续存储的块，广播运算会按连续内存块来处理，CPU能通过缓存行预取一次性加载大片数据到高速缓存，内存访问速度直接拉满。

• SIMD硬件加速的利用：NumPy的向量化运算能利用CPU的SIMD（单指令多数据）指令集，一条指令就能同时处理多个数据元素，相当于一次完成批量运算。而Python循环只能逐个处理元素，完全没法利用这种硬件级的并行加速能力。

• 类型与索引的额外开销：Python是动态类型语言，循环里每次赋值都要做类型检查；同时索引m[i,j]的计算也得在Python层面完成。NumPy数组是同质类型的，底层操作不需要重复做类型检查，索引计算也在C层面完成，省去了大量冗余操作。

内容的提问来源于stack exchange，提问作者Olejjio