C++并行求和结果随元素顺序变化的原因及解决办法咨询

问题背景 #

在C++代码并行化时，发现每次运行结果不一致，排查后发现调整求和顺序会改变最终结果，以下是模拟示例代码：

#include <iostream>
using namespace std;

int main()
{
     double XX1 = 0;
     XX1 = XX1 + 364.29129656036;
     XX1 = XX1 + 364.363465344009;
     XX1 = XX1 - 364.29129656039;
     XX1 = XX1 - 364.363465344038;

     double XX2 = 0;
     XX2 = XX2 - 364.29129656039;
     XX2 = XX2 - 364.363465344038;
     XX2 = XX2 + 364.29129656036;
     XX2 = XX2 + 364.363465344009;

     cout.precision(27);
     cout << XX1 << endl;
     cout << XX2 << endl;

     return 0;
}

运行输出：

XX1 = -5.89466253586579114198684692e-11
XX2 = -5.88897819397971034049987793e-11

问题解答 #

1. 该现象是否正常？
   这是完全正常的，属于浮点运算的固有特性。double类型采用二进制浮点数编码，只能精确表示有限的十进制小数，大部分十进制小数转换为二进制时会产生无限循环的尾数，存储时会被截断。浮点加法不满足严格的结合律，求和顺序改变时，每次运算的截断误差会累积出不同结果，尤其是当数值量级接近、相减后只剩微小误差时，这种差异会更明显。

2. 并行化时如何避免结果不一致？
   并行化导致求和顺序随机，可通过以下方法缓解或解决：

• Kahan求和算法：引入补偿变量记录每次运算的截断误差，后续运算时把误差加回去，大幅降低精度损失，即使求和顺序变化，结果一致性也会显著提升。
• 使用更高精度类型：比如long double（注意不同平台的精度支持可能不同），扩大有效位数，减少截断误差的影响。
• 分组求和预处理：先将数据按量级分组，把同量级的数先相加，再合并各组结果，避免"大数吃小数"的情况，降低顺序变化带来的误差波动。
• 接受可控误差：如果业务场景允许，可设定结果的误差容忍范围，只要结果在范围内就视为有效。
• 确定性并行求和实现：部分并行算法库或编译器提供保证求和顺序一致的选项，比如强制按固定分块顺序求和，代价是可能损失少量并行性能。

内容的提问来源于stack exchange，提问作者FGP92