矩阵秩计算结果与线性独立列数矛盾问题咨询

问题1解答 #

该问题完全由数值计算误差导致。这类由多项式特征生成的矩阵列向量间数值共线性极强、条件数极高，浮点运算的截断误差会产生一批极小的非零奇异值。
rank 函数默认基于奇异值分解（SVD）实现，内置默认容忍阈值通常为 max(size(A)) * eps(norm(A))，所有小于该阈值的奇异值会被判定为0，因此得到偏小的秩结果。
可通过两种方法规避该问题：

• 手动调低rank的容忍阈值：Octave中调用rank(A, 1e-12)，Python Numpy中调用np.linalg.matrix_rank(A, tol=1e-12)即可，阈值可根据数据精度要求调整到小于真实最小非零奇异值即可。
• 生成多项式特征前先对原始特征做标准化/归一化处理，可大幅降低矩阵的条件数，从根源上减少数值误差的影响。

问题2解答 #

二者结果不一致是默认实现的阈值逻辑不同导致的，和算法本身的数值稳定性没有绝对的优劣关系。
rref 基于带主元选择的高斯消元实现，其主元判断阈值对病态矩阵的适配性比rank的默认SVD阈值更高，因此在该场景下得到了正确结果。这一矛盾不代表rank比rref更易受误差影响，仅代表二者的默认参数适配场景不同：rank的默认阈值是为了过滤真实场景下噪声引入的虚假秩，而该问题中的矩阵属于理论满秩但数值病态的场景，默认阈值过于宽松才会出现误判，调整阈值后rank的结果会和rref完全一致。

补充场景说明 #

10×10矩阵B计算rank(B*B)得到9的问题也符合上述逻辑：矩阵乘法会放大数值误差，B*B的条件数是B条件数的平方，最小奇异值会大幅缩小，被默认阈值判定为0，调低容忍阈值即可得到正确的秩结果。

内容的提问来源于stack exchange，提问作者mathgeek