如何计算含哑变量的Random Forest与Logistic Regression的重要特征？

下面是几个Python可直接落地的方案，解决哑变量后特征重要性过于细碎、缺乏可解释性的问题：

1. 聚合随机森林的特征重要性（聚焦原分类变量） #

Random Forest的feature_importances_是针对每个哑变量单独计算的，我们可以把同一原分类变量衍生出的所有哑变量的重要性求和，得到原变量的整体重要性，同时也能保留单个哑变量的重要性用于细节分析。

代码示例： #

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestClassifier

# 假设已完成哑变量编码得到X_dummies，列名是pd.get_dummies默认格式（如"原变量名_类别值"）
rf = RandomForestClassifier()
rf.fit(X_dummies, y)

# 提取特征重要性并转为DataFrame
feat_importance = pd.DataFrame({
    'feature': X_dummies.columns,
    'importance': rf.feature_importances_
})

# 拆分出每个哑变量对应的原分类变量名
feat_importance['original_feature'] = feat_importance['feature'].str.split('_').str[0]

# 计算原变量的整体重要性，同时保留单个哑变量的重要性
original_feat_importance = feat_importance.groupby('original_feature')['importance'].sum().sort_values(ascending=False)
single_dummy_importance = feat_importance.sort_values('importance', ascending=False)

# 输出结果
print("原分类变量整体重要性：")
print(original_feat_importance.head(10))
print("\n单个哑变量重要性：")
print(single_dummy_importance.head(10))

2. 基于Logistic Regression的系数分析（含正则化） #

逻辑回归的系数直接反映特征对预测结果的影响程度，针对哑变量可以：

• 直接查看单个哑变量的系数值（正数代表该类别相对于基准类提升预测概率，负数则相反）
• 聚合同一原变量下所有哑变量的系数绝对值之和，衡量原变量的整体影响力
• 用L1正则化（penalty='l1'）自动筛选重要哑变量，剔除影响极小的特征，降低维度

代码示例： #

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

# 逻辑回归需要特征标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_dummies)

# 使用L1正则化筛选特征
lr = LogisticRegression(penalty='l1', solver='liblinear', max_iter=1000)
lr.fit(X_scaled, y)

# 提取系数并转为DataFrame
coef_df = pd.DataFrame({
    'feature': X_dummies.columns,
    'coefficient': lr.coef_[0]
})

# 拆分原变量名，计算原变量的整体影响（系数绝对值之和）
coef_df['original_feature'] = coef_df['feature'].str.split('_').str[0]
original_coef_importance = coef_df.groupby('original_feature')['coefficient'].apply(lambda x: np.sum(np.abs(x))).sort_values(ascending=False)

# 输出结果
print("原分类变量整体影响力：")
print(original_coef_importance.head(10))
print("\n非零系数的单个哑变量：")
print(coef_df[coef_df['coefficient'] != 0].sort_values('coefficient', ascending=False).head(10))

3. SHAP值（可解释性最强，支持两种模型） #

SHAP值可以量化每个特征对单个预测样本的贡献，既能得到全局特征重要性，也能分析单个哑变量的影响，同时支持随机森林和逻辑回归。可以聚合同一原变量下所有哑变量的SHAP值绝对值之和，得到原变量的重要性。

代码示例： #

import shap

# 针对Random Forest
explainer_rf = shap.TreeExplainer(rf)
shap_values_rf = explainer_rf.shap_values(X_dummies)

# 计算全局SHAP特征重要性（SHAP值绝对值的均值）
shap_importance_rf = pd.DataFrame({
    'feature': X_dummies.columns,
    'shap_importance': np.mean(np.abs(shap_values_rf), axis=0)
})

# 聚合原变量的SHAP重要性
shap_importance_rf['original_feature'] = shap_importance_rf['feature'].str.split('_').str[0]
original_shap_rf = shap_importance_rf.groupby('original_feature')['shap_importance'].sum().sort_values(ascending=False)

# 针对Logistic Regression
explainer_lr = shap.LinearExplainer(lr, X_scaled)
shap_values_lr = explainer_lr.shap_values(X_scaled)

shap_importance_lr = pd.DataFrame({
    'feature': X_dummies.columns,
    'shap_importance': np.mean(np.abs(shap_values_lr), axis=0)
})
shap_importance_lr['original_feature'] = shap_importance_lr['feature'].str.split('_').str[0]
original_shap_lr = shap_importance_lr.groupby('original_feature')['shap_importance'].sum().sort_values(ascending=False)

# 输出结果
print("RF模型原变量SHAP重要性：")
print(original_shap_rf.head(10))
print("\nLR模型原变量SHAP重要性：")
print(original_shap_lr.head(10))

4. 提前优化编码方式（从根源减少细碎特征） #

如果不想处理大量哑变量，可以在编码阶段选择更简洁的方式：

• 目标编码（Target Encoding）：将分类变量的每个类别替换为该类别对应的目标变量均值，每个原变量仅生成一个特征，直接查看特征重要性即可（适合树模型）
• WOE编码（Weight of Evidence）：针对分类任务，将类别替换为WOE值，既保留解释性，又适配逻辑回归，每个原变量仅一个特征

目标编码代码示例： #

from category_encoders import TargetEncoder

# 假设df是原始数据，包含分类变量和目标变量y
encoder = TargetEncoder(cols=['原分类变量1', '原分类变量2'])  # 指定需要编码的分类列
X_encoded = encoder.fit_transform(df[['原分类变量1', '原分类变量2']], y)

# 直接用编码后的特征训练模型，特征重要性直接对应原分类变量
rf.fit(X_encoded, y)
print(pd.Series(rf.feature_importances_, index=X_encoded.columns).sort_values(ascending=False))

内容的提问来源于stack exchange，提问作者Strovic