Python中Logistic Regression模型多重共线性处理方法及实操步骤问询

先明确：多重共线性对Logistic回归的影响 #

• 会让回归系数的估计值波动大、方差偏高，甚至出现和预期相反的符号
• 严重破坏模型的解释性，没法准确判断单个变量对结果的真实影响
• 但不会大幅降低模型的预测能力，只是搞砸了解释性和系数可靠性

第一步：先检测多重共线性 #

方法1：计算相关系数矩阵+可视化

用pandas计算变量间的相关性，再用热力图直观查看，一般相关系数绝对值>0.8就算高度相关。

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 假设df是你的数据集，包含所有特征和目标变量
corr_matrix = df.corr()

# 画热力图看相关性分布
plt.figure(figsize=(10,8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.2f')
plt.title('特征变量相关系数矩阵')
plt.show()

# 自动筛选高度相关的变量对
high_corr_pairs = []
for i in range(len(corr_matrix.columns)):
    for j in range(i+1, len(corr_matrix.columns)):
        if abs(corr_matrix.iloc[i,j]) > 0.8:
            high_corr_pairs.append((corr_matrix.columns[i], corr_matrix.columns[j], round(corr_matrix.iloc[i,j],2)))

print("高度相关变量对：")
for pair in high_corr_pairs:
    print(f"{pair[0]} ↔ {pair[1]}，相关系数：{pair[2]}")

方法2：计算方差膨胀因子（VIF）

VIF值越大，共线性越严重：VIF>10=严重共线性，VIF>5=需要警惕。

from statsmodels.stats.outliers_influence import variance_inflation_factor
import pandas as pd

# 提取特征矩阵（排除目标变量）
X = df.drop('target', axis=1)  # 替换成你的目标变量列名

# 计算每个特征的VIF
vif_df = pd.DataFrame()
vif_df["特征"] = X.columns
vif_df["VIF值"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

# 按VIF降序排列
print(vif_df.sort_values('VIF值', ascending=False))

第二步：具体处理措施及Python实现 #

措施1：直接移除冗余变量

逻辑：从高度相关的变量对里，删掉对目标变量解释性弱、或者业务意义次要的那个。

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 假设检测后发现var1和var2高度相关，选择移除var2
X_clean = X.drop('var2', axis=1)
y = df['target']

# 拆分数据集并训练模型
X_train, X_test, y_train, y_test = train_test_split(X_clean, y, test_size=0.2, random_state=42)
model = LogisticRegression()
model.fit(X_train, y_train)

# 验证效果
y_pred = model.predict(X_test)
print(f"移除冗余变量后模型准确率：{accuracy_score(y_test, y_pred):.2f}")

措施2：主成分分析（PCA）降维

逻辑：把高度相关的变量合并成几个不相关的主成分，保留大部分信息的同时彻底消除共线性。
注意：PCA后的特征失去原有业务解释性，适合只关注预测能力的场景。

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# PCA对变量尺度敏感，先标准化特征
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 保留95%的原始信息，自动确定主成分数量
pca = PCA(n_components=0.95)
X_pca = pca.fit_transform(X_scaled)

print(f"保留的主成分数量：{pca.n_components_}")

# 用主成分训练模型
X_train_pca, X_test_pca, y_train, y_test = train_test_split(X_pca, y, test_size=0.2, random_state=42)
model_pca = LogisticRegression()
model_pca.fit(X_train_pca, y_train)

y_pred_pca = model_pca.predict(X_test_pca)
print(f"PCA降维后模型准确率：{accuracy_score(y_test, y_pred_pca):.2f}")

措施3：正则化（L1/L2惩罚项）

逻辑：给损失函数加惩罚项，压缩回归系数，缓解共线性带来的系数不稳定问题。

• L1正则（Lasso）：会把部分不重要的变量系数压缩为0，自动做特征选择
• L2正则（Ridge）：把系数向0压缩，但不会置为0，适合所有变量都有业务意义的场景

# L1正则化模型
model_l1 = LogisticRegression(penalty='l1', solver='liblinear', C=1.0, random_state=42)
model_l1.fit(X_train, y_train)
y_pred_l1 = model_l1.predict(X_test)
print(f"L1正则化模型准确率：{accuracy_score(y_test, y_pred_l1):.2f}")
print("L1正则化后的特征系数：")
print(pd.DataFrame({'特征': X.columns, '系数': model_l1.coef_[0]}))

# L2正则化模型
model_l2 = LogisticRegression(penalty='l2', C=1.0, random_state=42)
model_l2.fit(X_train, y_train)
y_pred_l2 = model_l2.predict(X_test)
print(f"\nL2正则化模型准确率：{accuracy_score(y_test, y_pred_l2):.2f}")

措施4：逐步回归筛选变量

逻辑：通过逐步添加/移除变量，筛选出最优特征子集，既消除共线性又保留重要变量。

import statsmodels.api as sm

def forward_selection(X, y, sig_level=0.05):
    best_features = []
    while True:
        remaining_features = [f for f in X.columns if f not in best_features]
        p_vals = pd.Series(index=remaining_features)
        # 逐个测试添加剩余特征后的模型显著性
        for f in remaining_features:
            model = sm.Logit(y, sm.add_constant(X[best_features + [f]])).fit(disp=0)
            p_vals[f] = model.pvalues[f]
        min_p = p_vals.min()
        # 若最小p值小于显著性水平，添加该特征；否则停止
        if min_p < sig_level:
            best_features.append(p_vals.idxmin())
        else:
            break
    return best_features

# 执行向前逐步回归
selected_features = forward_selection(X, y)
print("逐步回归筛选出的特征：", selected_features)

# 用筛选后的特征训练模型
X_selected = X[selected_features]
X_train_sel, X_test_sel, y_train, y_test = train_test_split(X_selected, y, test_size=0.2, random_state=42)
model_sel = LogisticRegression()
model_sel.fit(X_train_sel, y_train)

y_pred_sel = model_sel.predict(X_test_sel)
print(f"逐步回归后模型准确率：{accuracy_score(y_test, y_pred_sel):.2f}")

方案选择建议 #

• 需要保留特征业务解释性：优先选移除冗余变量或逐步回归
• 只关注预测能力、不在乎解释性：用PCA降维
• 所有变量都有业务意义、不想删除：用L2正则化（L1适合需要自动做特征选择的场景）

内容的提问来源于stack exchange，提问作者Saugat Nayak