任意排列的 floating-point numbers 向量能否 deterministic 求和？

完全可以实现逐位（bitwise）一致的浮点求和，且不需要全量排序、不需要移动分布式节点上的原始数据，相关方案已经在高性能数值计算领域有成熟落地。

IEEE 754标准的浮点数加法不满足结合律与交换律：(a + b) + c 的计算结果不一定等于 a + (b + c)，求和顺序、分组方式的变化都会改变中间舍入误差，最终输出不同的二进制结果。这也是固定顺序求和可复现、异步/分布式场景默认求和结果不稳定的核心原因。

单节点异步无序输入场景 #

不需要收集完全部数据后排序，可直接使用超累加器（Super Accumulator） 处理无序返回的数值，整个过程与输入顺序完全无关：

• 按照浮点数的指数取值预先创建固定数量的定点数桶：双精度浮点数的正规格化数仅对应2048个指数，单精度仅对应256个，实现时额外增加少量桶处理非规格化数和进位即可
• 每收到一个浮点数，就将其符号、尾数拆分为定点整数形式，累加到对应指数的桶中；桶使用位宽足够的整数存储，保证累加全程无舍入误差
• 所有数据处理完成后，按固定规则统一处理跨桶进位，再按照约定的IEEE 754舍入规则转回普通浮点数
  异步返回的先后顺序只会改变整数累加的次序，而整数加法天然满足交换律、结合律，因此最终结果逐位一致。

分布式多节点、不移动原始数据场景 #

对上述分桶逻辑做分布式扩展即可，全程不需要shuffle全量原始数据：

• 所有节点遵循完全相同的拆分、分桶规则，在本地完成各自持有数据的累加，本地计算同样不要求数据有序
• 全局归约阶段，每个节点仅上传自身的分桶结果：双精度场景下全部分桶数据总大小仅KB级，和节点持有的原始数据量完全无关
• 汇总节点将所有节点的同指数桶对应累加，再统一处理进位、舍入转换，输出最终结果
  只要所有节点的拆分、进位、舍入规则完全统一，无论集群节点数量、数据分布方式、任务调度/重试策略如何变化，最终输出的浮点数每一位都完全一致。

带稳定标识场景的轻量化方案 #

如果输入数据本身带有全局唯一且固定的标识（如采样序号、主键），且数据分区规则全局不变，也可以使用更轻量的实现：

• 每个固定分区的节点在本地用可复现算法计算分区部分和
• 全局严格按照分区ID的固定顺序累加所有部分和
  该方案传输开销更低，但依赖固定分区与稳定标识，不适用于黑盒动态生成、无固定ID的输入场景。

• 仅换用更高精度的普通浮点类型（如四倍精度）无法保证逐位一致：高精度浮点加法依然不满足结合律，只是降低了结果出现差异的概率，不属于严格可复现方案
• 普通Kahan/Neumaier补偿求和、默认树形归约不保证确定性：这类算法本身依赖输入顺序，分布式调度、分组逻辑变化时依然会产生结果差异
• 全量排序是成本极高的方案：分布式排序需要全量数据跨节点shuffle，网络与磁盘开销远高于分桶累加，仅适合极小数据量场景
• 特殊浮点值不影响方案可行性：只要提前约定Inf、NaN等特殊值的判定与输出规则（例如出现NaN时统一输出固定位模式的静默NaN），即可保证一致性

内容的提问来源于stack exchange，提问作者Richard