np.sum与np.add.reduce是否等价？如何保证浮点数数组求和结果一致

核心结论 #

存在方法可以保证np.sum(A)、np.add.reduce(A)、A.sum()三者结果在==判断下完全一致，且可以和CPython内置左到右求和的sum(A)结果完全匹配。

行为差异的根源 #

• numpy官方文档提到的「add.reduce与sum等价」是数学层面的笼统表述，没有考虑浮点数加法不具备结合性的特性，实现层面的求值顺序差异会直接导致最终结果不同。
• np.add.reduce默认严格遵循左到右累加逻辑，完全符合文档给出的循环实现，和CPythonsum()的求值顺序完全一致。
• np.sum与A.sum默认启用了成对求和优化：会将数组拆分为固定大小的块分别求和后再合并，用来减少浮点数累加的舍入误差，这就是和左到右累加结果出现差异的核心原因。
• 2013年的旧结论对应没有成对求和优化的旧版本numpy，当时np.sum底层确实直接调用np.add.reduce，该结论在新版本引入优化后不再适用，属于文档更新不及时导致的描述矛盾。

统一求和结果的实现方法 #

只需禁用numpy的成对求和优化即可，numpy 1.22及以上版本可以通过修改全局配置实现：

import numpy as np
# 禁用成对求和优化
np._set_promote_to_64bit_sum(False)

禁用后np.sum与A.sum()会回退到直接调用np.add.reduce的左到右累加逻辑，三者结果完全匹配，也和CPython内置sum(A)的结果一致。

验证示例 #

# 构造会触发浮点累加差异的测试数组
A = np.array([1e16, 1, -1e16], dtype=np.float64)

# 默认行为下的结果差异
print(sum(A))           # CPython左到右结果：1.0
print(np.add.reduce(A)) # 左到右累加结果：1.0
print(np.sum(A))        # 成对求和结果：0.0

# 禁用成对求和后的结果
np._set_promote_to_64bit_sum(False)
print(np.sum(A)) # 结果变为1.0
print(A.sum())   # 结果变为1.0

内容的提问来源于stack exchange，提问作者kcsquared