同版本Python/Scipy在Windows与Linux下积分计算结果差异及修复咨询

在Linux集群运行计算代码时，结果与Windows本地不一致，且集群程序易崩溃。起初怀疑软件版本问题，在集群安装了和本地同版本的Miniconda，但问题依旧。更复杂的计算任务在多台Windows电脑上数值结果一致，且与解析计算结果相符；但集群使用相同版本的Python包（Python 3.9.12，numpy 1.21.5，scipy 1.7.3）时，计算结果不仅存在差异，甚至超出误差范围，复杂积分任务直接失败。

示例代码 #

from scipy import integrate
import numpy as np


def integrand(theta, t,theta_1x,theta_2x): 
    return np.sin(t/2)*np.sin(theta)*np.cos(t/2)**2/np.sqrt(t-b+a)/np.sqrt(b+a-t)*np.sin(theta_1x)/theta_1x/theta_2x;

def theta_integral(t,ax,bx):
    return integrate.quad(integrand, bx-ax, t , args=(t,ax,bx,))[0]

b=1.5
a=0.1
integral_result_temp=integrate.quad(theta_integral, b-a,b+a ,args=(a,b,) );
print(integral_result_temp)

环境信息 #

本地Windows环境 #

Python 3.9.12 (main, Apr  4 2022, 05:22:27) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.

Linux集群环境 #

Python 3.9.12 (main, Jun  1 2022, 11:38:51)
[GCC 7.5.0] :: Anaconda, Inc. on linux

计算结果 #

本地Windows结果 #

(0.07410654702360654, 1.34140350493972e-08)

Linux集群结果 #

(0.07410654255620497, 1.1830009194468971e-11)

两者结果存在差异且超出误差范围。

原因分析 #

核心原因在于Windows和Linux平台上的Python是用不同编译器编译的：Windows版本用的是MSC（微软编译器），Linux版本用的是GCC（GNU编译器），两者在底层实现上的差异会放大数值计算的偏差：

• 浮点舍入规则：GCC与MSC对部分浮点运算的舍入细节不同，多层嵌套计算后，微小的舍入差异会累积成明显偏差。
• 底层数学库差异：Windows平台的Anaconda Python通常依赖Intel MKL或微软msvcrt库，而Linux平台默认依赖GNU libm或OpenBLAS，这些库对三角函数、平方根等基础函数的实现精度和优化逻辑不同，直接影响计算结果。
• 积分算法的稳定性：Scipy的integrate.quad依赖的QUADPACK库，在不同编译环境下可能因优化策略、采样点选择逻辑的差异，导致积分结果偏差，复杂积分任务甚至会因数值不稳定直接崩溃。

解决方法 #

1. 统一底层数学库：在Linux集群安装与Windows一致的Intel MKL库，Anaconda环境下可通过以下命令切换MKL后端：

   conda install mkl-service numpy scipy --update-deps
   

   确保Numpy和Scipy使用MKL而非OpenBLAS，消除底层库差异。

2. 对齐浮点舍入模式：在代码开头添加以下代码，强制Linux平台使用与Windows一致的向最近值舍入模式：

   import sys
   if sys.platform == 'linux':
       import ctypes
       m = ctypes.CDLL('libm.so.6')
       # 设置舍入模式为FE_TONEAREST（向最近值舍入）
       m.fesetround(0x0000)
   

3. 优化积分计算参数：调整Scipy integrate.quad的精度参数或迭代次数，提升数值稳定性：

   integral_result_temp = integrate.quad(theta_integral, b-a, b+a, args=(a,b,), epsabs=1e-10, epsrel=1e-10, limit=1000)
   

   复杂积分任务可尝试拆分积分区间，或更换integrate.quad_vec等其他积分函数。

4. 统一编译环境（可选）：若极端场景需要完全一致，可在Linux上用MinGW-w64编译Python环境，复刻Windows的编译链，但复杂度较高，仅作为备选方案。

内容的提问来源于stack exchange，提问作者ShoutOutAndCalculate