使用glmnet实现正则化逻辑回归时为何预测概率超出0-1范围为负数?
正则化逻辑回归预测值异常问题排查
核心问题原因
- 你当前拿到的负数值不是违约概率,而是模型输出的对数发生比(log-odds)。glmnet的predict函数默认返回线性预测器的原始输出(即link类型结果),这类值本身为任意实数,自然会出现小于-1的情况,并非取值错误。要得到0-1区间的实际概率,需要在调用predict时显式指定返回类型。
- 代码存在两处逻辑偏差:
- 你目标是实现岭正则化回归,但代码中
alpha = 1对应的是Lasso回归,岭回归需要将alpha设为0;alpha取0到1之间的值时对应的是弹性网回归。 - 变量类型处理存在冗余风险:你将已经拆分完成的互斥类别字段(如
married、graduate_school、high_school、single、university等0/1型拆分字段)单独转为因子,会导致model.matrix生成模型矩阵时重复生成哑变量,引入完全共线的冗余特征,进一步干扰模型输出。
- 你目标是实现岭正则化回归,但代码中
修正后的可运行代码
# 加载依赖包(补充遗漏的readxl包用于读取Excel文件) library(tidyverse) library(caret) library(glmnet) library(readxl) creditdata <- read_excel("R bestanden/creditdata.xlsx") df <- as.data.frame(creditdata) df <- na.omit(df) # 仅将目标变量、原始分类变量转为因子类型 df$default_payment_next_month <- as.factor(df$default_payment_next_month) df$sex <- as.factor(df$sex) df$married <- as.factor(df$married) # 拆分得到的二值学历字段保留数值型即可,无需额外转因子,避免重复编码 set.seed(123) training.samples <- df$default_payment_next_month %>% createDataPartition(p = 0.8, list = FALSE) train.data <- df[training.samples, ] test.data <- df[-training.samples, ] # 生成训练集模型矩阵,自动处理因子变量的哑变量编码 x <- model.matrix(default_payment_next_month~., train.data)[,-1] y <- ifelse(train.data$default_payment_next_month == 1, 1, 0) # 岭回归设置alpha=0,通过交叉验证选择最优lambda cv.ridge <- cv.glmnet(x, y, alpha = 0, family = "binomial") ridge.model <- glmnet(x, y, alpha = 0, family = "binomial", lambda = cv.ridge$lambda.1se) # 生成测试集模型矩阵 x.test <- model.matrix(default_payment_next_month ~., test.data)[,-1] # 关键修正:指定type = "response",返回0-1区间的违约概率 probabilities <- ridge.model %>% predict(newx = x.test, type = "response") predicted.classes <- ifelse(probabilities > 0.5, "1", "0") observed.classes <- test.data$default_payment_next_month # 计算测试集预测准确率 mean(predicted.classes == observed.classes)
注意事项
- 不要将对数发生比类型的输出直接与0.5的分类阈值比较,必须转换为响应类型的概率值后再做类别划分,否则阈值判断逻辑完全失效。
- 已完成拆分的二值特征无需额外转为因子,避免模型矩阵引入共线冗余特征导致预测偏移。
内容的提问来源于stack exchange,提问作者BusinessTiger
相关产品推荐
相关产品推荐

