确定分组归属的关键变量分析：方法报错与解决方案咨询

我有一个包含8100条观测、118个变量的数据集，变量涵盖有序类型与二元类型，目标是找出对4个分组归属预测最关键的变量。尝试多种方法后遇到以下问题：

• 判别函数分析（DFA）：不适用于二元数据
• 多分类逻辑回归（MLR）：无法直接确定变量重要性
• r-part决策树：稳定性极差，随机取半数数据运行结果每次都不同
• 优势分析（dominance analysis）：线性模型（lm）可正常运行，但DFA与MLR均报错，错误信息如下：

Error in daRawResults(x = x, constants = constants, terms = terms, fit.functions = fit.functions, :
Not implemented method to retrieve data from model

数据集仅含4个二元变量，可考虑移除，恳请提供其他可行分析方法建议。

可复现代码示例 #

set.seed(1)  ## 保证结果可复现

remotes::install_github("clbustos/dominanceAnalysis") # 安装优势分析包
library(dominanceAnalysis)
library(MASS)
library(nnet)

mydata <- data.frame(Segments=sample(1:4, 15, replace=TRUE),
                     var1=sample(1:7, 15, replace=TRUE),
                     var2=sample(1:7, 15, replace=TRUE),
                     var3=sample(1:6, 15, replace=TRUE),
                     var4=sample(1:2, 15, replace=TRUE))

# 线性模型的优势分析可正常运行
LM<-lm(Segments ~., mydata)
da.LM<-dominanceAnalysis(LM);da.LM
# var1是最重要的变量，其次是var4

# 判别函数分析的优势分析报错
DFA <- lda(Segments~., data=mydata)
da.DFA <- dominanceAnalysis(DFA)
# 触发错误

# 多分类逻辑回归的优势分析报错
MLR <- multinom(Segments ~ ., data = mydata, maxit=500)
da.MLR <- dominanceAnalysis(MLR)
# 触发错误

可行分析方法建议 #

1. 改进多分类逻辑回归的变量重要性评估 #

• 相对风险比（Odds Ratio）：对multinom模型的系数取指数，绝对值越大的变量对分组预测的影响越强
• 拟合度变化法：计算移除单个变量后模型AIC/BIC的上升幅度，上升越多说明变量对模型的贡献越大
• 代码示例：

# 计算多分类逻辑回归的风险比
coef_MLR <- coef(MLR)
OR_MLR <- exp(coef_MLR)
print(OR_MLR)

# 计算移除变量后的AIC变化
full_aic <- AIC(MLR)
var_names <- setdiff(colnames(mydata), "Segments")
aic_changes <- sapply(var_names, function(var) {
  model_red <- multinom(Segments ~ . - {{var}}, data = mydata, maxit=500)
  AIC(model_red) - full_aic
})
# 按AIC上升幅度排序，越大越重要
sort(aic_changes, decreasing = TRUE)

2. 随机森林（Random Forest） #

集成数百棵决策树，基于袋外（OOB）数据的预测误差减少量评估变量重要性，稳定性远高于单棵r-part树，同时兼容有序、二元变量。

• 代码示例：

library(randomForest)
set.seed(1)
rf_model <- randomForest(factor(Segments) ~ ., data = mydata, importance = TRUE)
# 可视化变量重要性
varImpPlot(rf_model)
# 查看具体数值
print(importance(rf_model))

3. 正则化多分类模型（LASSO/Ridge） #

使用glmnet包拟合正则化多分类逻辑回归，通过正则化筛选出对预测有贡献的变量，非零系数的变量即为关键变量，系数绝对值越大重要性越高。

• 代码示例：

library(glmnet)
x <- model.matrix(Segments ~ ., mydata)[,-1]
y <- factor(mydata$Segments)
set.seed(1)
# alpha=1为LASSO，alpha=0为Ridge
glmnet_model <- cv.glmnet(x, y, family = "multinomial", alpha = 1) 
# 查看最优lambda下的变量系数
coef(glmnet_model, s = "lambda.min")

4. 适配优势分析的替代方案 #

将多分类问题拆分为多个二分类子问题（如一对其余策略），对每个二分类逻辑回归模型单独做优势分析，最后综合各子模型的变量重要性结果。

内容的提问来源于stack exchange，提问作者thestral