舍入误差：如何处理含极小分量的向量运算问题

下面是不同场景下的可行处理方案，按实现成本和计算效率从高到低排序：

• 优先使用内置稳定算子
  不要手动实现sqrt(sum(x**2))这类计算逻辑，现有科学计算库的内置算子已经做了底层数值稳定性优化：
  • Numpy 直接调用 np.linalg.norm 计算模长，np.dot/np.vdot 计算点积
  • PyTorch 直接调用 torch.linalg.norm 计算模长，torch.dot 计算点积
    这类算子会自动处理缩放逻辑避免下溢，不需要额外修改代码，计算效率无损失，是绝大多数场景的首选。
• 手动数值缩放
  如果需要自定义计算逻辑，可以手动做缩放避免数值过小：
  1. 先提取向量所有分量的最大绝对值 M
  2. 将所有分量除以 M，把数值范围映射到 [0, 1] 区间
  3. 在缩放后的数值上计算模长/点积
  4. 最后将结果乘以对应的缩放系数还原：模长结果乘 M，两个向量的点积结果乘 M1*M2（M1、M2分别是两个向量的最大绝对值）
     这个方法不需要更换数据类型，计算效率损失极小，适配所有自定义计算场景。
• 更换更高精度的数据类型
  如果缩放方案还不能满足精度要求，可以更换精度更高的浮点类型：
  • Numpy 可以使用 np.float128（Linux/macOS平台支持完整128位浮点数，Windows平台对应np.longdouble，精度稍低）
  • PyTorch 可以使用 torch.float128（仅CPU端支持，消费级GPU暂不支持该类型）
    相比float64，这类类型的下溢阈值更低，可覆盖1e-30量级的乘积计算，精度提升明显，计算效率只有小幅下降。
• 任意精度运算
  对于精度要求极高的特殊场景，可以使用任意精度计算库：
  可以用Python的mpmath库，自定义设置十进制精度（比如设置为50位），完全避免舍入误差。缺点是运算效率远低于原生浮点类型，不适合分量规模极大的向量使用。

内容的提问来源于stack exchange，提问作者user1172131