Stats Models Logit().fit()报错LinAlgError:奇异矩阵求助

嘿，这个问题我之前做logistic回归时也踩过坑！出现LinAlgError: Singular matrix的核心原因是你的自变量矩阵存在完全多重共线性，或者包含取值完全无变化的变量，导致模型无法计算矩阵的逆（这是logit模型求解的必要步骤）。下面给你一步步排查和解决的具体思路：

1. 先排查取值完全无变化的自变量 #

如果某一列自变量的所有取值都相同（比如全是0、全是1，或者所有行都是同一个数值），这列变量对模型没有任何解释力，还会直接导致矩阵奇异。

你可以用以下代码快速检查：

import pandas as pd

# 假设你的自变量数据存在X_df中
print(X_df.nunique())

输出结果里，如果某列的唯一值数量是1，直接删掉这列就行：

# 保留唯一值数量大于1的列
X_clean = X_df.loc[:, X_df.nunique() > 1]

2. 检测完全多重共线性 #

完全共线性指的是某一个自变量可以被其他自变量的线性组合完全表示（比如两列数据完全相同、一列是另一列的倍数，或者存在x3 = x1 + x2这种严格线性关系）。

方法一：查看相关系数矩阵 #

计算自变量之间的相关系数，找相关系数为1或-1的变量对：

print(X_clean.corr())

如果发现有完全相关的变量对，删掉其中一列即可。

方法二：用方差膨胀因子（VIF）检测 #

VIF是专门检测共线性的指标，VIF值无穷大就代表存在完全共线性：

from statsmodels.stats.outliers_influence import variance_inflation_factor
import statsmodels.api as sm

# 先添加截距项（VIF计算需要）
X_with_const = sm.add_constant(X_clean)
# 计算每列的VIF
vif_values = [variance_inflation_factor(X_with_const.values, i) for i in range(X_with_const.shape[1])]
vif_df = pd.DataFrame({'feature': X_with_const.columns, 'VIF': vif_values})
print(vif_df)

找到VIF为无穷大的列，对应的自变量就是导致共线性的源头，删掉它就行。

3. 检查是否存在虚拟变量陷阱 #

如果你对分类变量做了独热编码（比如把有3个类别的变量转换成3个0/1列），就会触发虚拟变量陷阱：这3列的和恒等于1，会和模型的截距项产生完全共线性。

解决方法很简单：

• 对每个分类变量的独热编码结果，删掉其中一列（比如保留n-1列，n是分类的数量）；
• 或者在拟合模型时设置fit_intercept=False（不推荐，因为截距项通常有实际意义）。

4. 最后检查样本量是否足够 #

如果你的自变量数量远大于样本量（比如50个自变量，只有30个样本），模型也可能因为无法识别参数而抛出奇异矩阵错误。这种情况要么精简自变量（比如用特征选择方法），要么补充更多样本数据。

按照上面的步骤排查后，再重新拟合模型：

import statsmodels.api as sm

# 清理后的自变量+截距项
X_final = sm.add_constant(X_clean)
# 因变量
y = df['mpg_high']

# 拟合logit模型
model = sm.Logit(y, X_final)
result = model.fit()
# 查看结果
print(result.summary())

内容的提问来源于stack exchange，提问作者Harris2018