使用SIMD Intrinsics时浮点误差增大的技术咨询

问题背景 #

我实现了一个3D向量矩阵处理函数，核心逻辑为：计算迭代点（红叉）与下方对应点（蓝叉）的向量差，累加该差值的点积与常数的乘积。提供了两个实现版本：

• 朴素版本：依赖GCC自动向量化，共执行28984340次累加操作
• AVX2 Intrinsics优化版本：采用循环分块手动实现向量并行，共执行21738255次累加操作

编译环境为GCC 11.1.0，编译选项为-O3;-mfma;-mavx2，输入通过std::floor确保为整数值浮点数。测试显示：初始优化版本与朴素版本结果误差约6.3e-6，更新后的优化版本误差进一步增大至0.0017。

1. 两版本结果差异较大的原因是什么？ #

• 累加顺序与计算分组的差异：浮点数加法不满足结合律，朴素版本按原始顺序逐项累加，而AVX2优化版本通过循环分块并行计算，改变了累加的分组和顺序，导致舍入误差的积累路径不同。累加次数的差异说明优化版本可能合并了部分计算步骤（比如先累加多个点积再乘常数），进一步放大了舍入误差。
• 向量化实现逻辑的差异：GCC自动向量化会隐式调整计算流程以平衡性能与精度，而手动编写AVX2 Intrinsics时，点积计算、向量差处理、常数乘积的时机等步骤可能与自动向量化的逻辑不一致，比如手动使用FMA指令的融合乘加操作，和朴素版本“先乘后加”的分步计算存在精度差异。
• 边界处理的差异：循环分块时，剩余不足一个向量宽度的元素，手动实现的标量处理逻辑可能与自动向量化的处理方式不同，这部分的计算偏差会被累加到最终结果中。
• 更新后的优化版本误差增大：大概率是修改时进一步改变了计算逻辑（比如更激进的计算合并、调整了点积或乘积的顺序），导致舍入误差的积累被进一步放大。

2. 哪个版本的计算精度更高？ #

朴素版本的计算精度更高。原因如下：

• 朴素版本的累加顺序完全贴合数学上的逐项累加逻辑，舍入误差的积累相对平缓；而AVX2版本的并行分块计算改变了计算顺序，误差更容易被累积放大。
• 从测试结果来看，优化版本的误差（最高0.0017）远大于朴素版本，直接反映了精度差距。累加次数的差异也说明朴素版本是严格逐个处理每个计算项，没有合并计算带来的额外误差。

3. 若Intrinsics版本精度不足，如何提升其准确性？ #

• 对齐累加顺序与逻辑：手动实现AVX2代码时，尽量模拟朴素版本的计算顺序，确保每个(向量差点积)*常数的项都按原始顺序累加到总和中，避免合并多个点积后再乘常数的操作。
• 使用高精度中间累加变量：如果原始计算使用float类型，可将累加总和改用double类型存储。在AVX2处理时，先将每个向量的计算结果转换为double再累加，最后再转换回目标类型，减少舍入误差的积累。
• 统一边界处理逻辑：确保循环分块后剩余元素的处理逻辑与朴素版本完全一致，避免边界部分的计算偏差。
• 调整FMA指令的使用：如果手动使用FMA指令，可尝试将融合乘加分拆为“先乘后加”的步骤，与朴素版本的计算流程对齐；若追求FMA的精度优势，需确保其计算逻辑与自动向量化的FMA使用方式一致。
• 逐步骤验证逻辑一致性：对比朴素版本与AVX2版本的每一步计算（向量差、点积、常数乘积、累加），确保数学逻辑完全一致，避免因手动实现的逻辑偏差导致的精度问题。

内容的提问来源于stack exchange，提问作者Nitin Malapally