numpy1.7.1计算矩阵特征向量出现Segmentation Fault问题咨询

该段错误基本可以确定是集群部署的NumPy 1.7.1版本本身的底层缺陷导致，和你的代码隐藏bug无关。

• NumPy 1.7.1是2013年发布的老旧版本，其底层绑定的线性代数库（LAPACK/BLAS）接口、大数组内存管理逻辑存在大量已知历史漏洞，尤其在处理大尺寸厄米复矩阵的特征分解场景时，旧版本的内存边界检查逻辑存在缺陷，当矩阵尺寸超过临界阈值后会触发非法内存访问，直接抛出段错误。
• 你本地1.21.0版本的NumPy已经修复了这类历史问题，只要内存充足就可以正常运行，和集群的表现差异完全符合版本差异导致的故障特征。

你可以在集群环境下运行最小复现代码排除业务代码的影响：

import numpy as np
# 生成触发错误尺寸的随机厄米矩阵
N = 2 * 35 * 35 + 1
mat = np.random.rand(N, N) + 1j * np.random.rand(N, N)
hermitian_mat = mat + mat.T.conj()
# 调用特征分解接口
eig_val, eig_vec = np.linalg.eigh(hermitian_mat)

如果上述代码直接抛出段错误，就可以100%确认是NumPy版本问题。

• 优先选择非侵入式的包版本替换方案：不需要申请集群管理员权限，你可以用conda创建独立的Python虚拟环境，安装和本地版本一致的NumPy 1.21.0，slurm提交任务的脚本中先激活对应虚拟环境再运行代码即可。
• 若无法使用conda，可执行pip install --user numpy==1.21.0将指定版本NumPy安装到你的用户目录，提交任务时确保Python优先加载用户目录下的安装包即可。
• 若必须使用系统预装的NumPy 1.7.1，可将大矩阵拆分为多个小块做分块特征分解，规避旧版本的尺寸阈值限制，但该方案改造成本较高，不优先推荐。

内容的提问来源于stack exchange，提问作者Nicolau Sobrosa