为何Numpy中float32运算速度远快于float64？如何优化float64？

在做性能优化时，我发现把Numpy运算里的数据类型从float64换成float32后，运算速度大幅提升——下面的示例里速度直接快了5倍。我知道不同数据类型的处理逻辑有差异，而且和硬件有关，但想搞清楚具体原因是什么，还有没有办法让float64运算达到差不多的速度。

代码示例 #

import numpy as np
import timeit

arr64 = np.random.random(size=10000).astype(np.float64)
arr32 = np.random.random(size=10000).astype(np.float32)

time64 = timeit.timeit(lambda :np.exp(arr64), number=10000)
time32 = timeit.timeit(lambda :np.exp(arr32), number=10000)

print(f'64bit time: {time64}')
print(f'32bit time: {time32}')

# 运行结果
# 64bit time: 0.797928056679666
# 32bit time: 0.15939769614487886

运行环境：Ubuntu系统，Python 3.9.17，Numpy 1.25.2

一、float32更快的核心原因 #

• 内存带宽与缓存效率：float64每个元素占8字节，float32仅占4字节。相同内存空间下，float32能容纳的元素数量是float64的2倍，CPU缓存可一次性加载更多数据，减少主存访问次数——而内存访问往往是数值运算的性能瓶颈。你的示例数组虽都能放进L1缓存，但重复运算时，更小的数据量能降低缓存交换开销。
• SIMD指令集并行性：现代CPU的SIMD指令集（如x86的AVX/AVX2、ARM的NEON）对单精度(float32)支持更高效。以AVX2为例，单条指令可同时处理8个float32元素，却只能处理4个float64元素，单指令吞吐量直接翻倍，Numpy会自动利用这些指令提升并行度。
• 硬件运算单元设计：CPU/GPU的浮点运算单元中，单精度单元数量通常远多于双精度。多数消费级CPU的双精度运算性能仅为单精度的1/2甚至1/4，GPU差距更大——这是硬件设计倾向，因为日常计算（如图像处理、机器学习）单精度已足够，厂商优先优化单精度性能。

二、让float64运算接近float32速度的可行方法 #

• 启用高级SIMD指令集：确保Numpy是用支持AVX-512的编译器编译的，AVX-512可一次处理8个float64元素，比AVX2吞吐量翻倍。可运行np.show_config()查看编译选项，若未启用，重新编译Numpy时添加-mavx512f等参数。
• 优化内存访问模式：用np.ascontiguousarray()将数组转为连续内存布局，避免碎片化访问。连续数组能提升Numpy运算的缓存利用率，减少内存延迟对float64的影响。
• 开启多线程并行：设置环境变量OMP_NUM_THREADS为CPU核心数（如Ubuntu终端执行export OMP_NUM_THREADS=8），让Numpy运算利用多核并行，抵消单指令吞吐量的差距。
• 硬件加速替代：若机器有支持双精度的高性能GPU，可使用CuPy替代Numpy，GPU的双精度运算吞吐量远高于CPU，能大幅缩小与float32的速度差。

内容的提问来源于stack exchange，提问作者Shawn