转换数组为float32后np.mean结果异常，值未变均值却不同

需求与复现代码 #

需求：将数组dtype修改为float32前后，np.mean计算结果需大致一致，且最终dtype必须为float32。

复现代码：

import numpy as np

array = np.random.randint(0, high=255, size=(3, 12000, 12000), dtype="int")
array = array[:,500:10000,500:10000]
array = array.reshape((-1,3))
# array.shape is now (90250000, 3)

print(np.mean(array,axis=0),array.dtype) # Nr.1

array = array.astype("float32")

print(np.mean(array,axis=0),array.dtype) # Nr.2

运行结果 #

两次打印输出：

[127.003107   127.00156286 126.99015613] int32
[47.589664 47.589664 47.589664] float32

额外测试观察 #

• 给切片操作添加.copy()，结果无变化
• 调整切片尺寸会影响float32下的均值结果：
  • 当最后两维取[500:8000]时，float32均值为[76.35497 76.35497 76.35497]
  • 取[500:5000]及更小尺寸时，两次均值大致相同

验证值一致性 #

为确认转换前后数组值无变化，执行以下代码：

array = array.reshape((-1,3))
array_float = array.astype("float32")
print(np.all(array_float==array),array.dtype,array_float.dtype)

输出结果：

True int32 float32

核心疑问 #

既然数组转换前后值完全相同，为何np.mean计算结果却截然不同？

原因分析 #

问题出在float32的精度限制和numpy计算均值的内部逻辑上：

1. int数组的均值计算：numpy会自动使用更高精度的类型（如float64或int64）进行累加和均值计算，避免了精度丢失，因此结果准确。
2. float32数组的均值计算：numpy默认使用数组本身的dtype（float32）进行累加操作。而float32的尾数只有23位，只能精确表示小于2^24（约1677万）的整数。当数组元素总数达到9000万级时，累加的总和（约2.3e10）远超float32能精确表示的范围，每次累加的0-255的增量相对于总和来说过小，无法被float32精确记录，导致累加结果严重失真，最终均值完全偏离正确值。

小尺寸数组的总和在float32的精确表示范围内，因此累加误差极小，两次均值结果大致一致。

解决方法 #

要保证float32数组的均值结果与原int数组一致，可通过以下方式：

• 先以float64精度计算均值，再转换为float32：

  mean_result = np.mean(array, axis=0).astype("float32")
  print(mean_result, "float32")
  

• 或者计算float32数组的均值时，指定更高精度的计算类型：

  array_float = array.astype("float32")
  mean_result = np.mean(array_float, axis=0, dtype=np.float64).astype("float32")
  print(mean_result, array_float.dtype)
  

内容的提问来源于stack exchange，提问作者Naru1243