使用sklearn Ridge拟合时出现matmul无效值RuntimeWarning的原因及解决

成因分析 #

• 浮点运算数值溢出/下溢：处理(9440, 1900)的大矩阵时，矩阵乘法（如X_train.T @ X_train这类核心运算）会产生海量浮点计算，累计的数值误差可能导致部分结果超出浮点数的有效表示范围，进而触发invalid value警告。样本量从1000提升到9440后，运算量呈几何级增长，误差累积的影响被放大；而小样本下误差还未达到触发警告的阈值。
• 矩阵数值不稳定（近似奇异性）：即使样本数大于特征数（9440>1900），若特征间存在严重多重共线性，X_train.T @ X_train矩阵会接近奇异矩阵。在Ridge回归的求解过程中，对这类矩阵进行分解或求逆时，数值稳定性会大幅下降，容易出现运算异常。大样本场景下，共线性引发的数值问题更容易暴露。

解决办法 #

• 特征标准化/归一化：对X_train使用StandardScaler（标准化）或MinMaxScaler（归一化）处理，将所有特征缩放到相近的数值范围。这不仅能减少浮点运算的数值波动，还能提升Ridge回归的模型性能（Ridge对特征尺度敏感）。
• 增大正则化强度：调大Ridge模型的alpha参数，增强L2正则化的约束效果，缓解矩阵近似奇异性带来的数值不稳定。可以通过GridSearchCV或RandomizedSearchCV遍历合适的alpha区间，找到最优值。
• 切换更稳定的求解器：sklearn的Ridge支持多种求解器，默认的auto可能在大矩阵下使用传统的Cholesky分解，数值稳定性不足。可以指定sag或saga求解器，这类基于随机梯度下降的方法在处理大规模数据时，数值稳定性更好，避免直接进行大矩阵乘法运算。
• 特征降维：通过PCA（主成分分析）、SelectKBest等方法减少特征维度，降低矩阵乘法的运算复杂度，同时从根源上缓解多重共线性问题。

内容的提问来源于stack exchange，提问作者arjan-hada