You need to enable JavaScript to run this app. 使用glmnet实现正则化逻辑回归时为何预测概率超出0-1范围为负数?
优惠活动
大模型
产品
解决方案
定价
更多

使用glmnet实现正则化逻辑回归时为何预测概率超出0-1范围为负数?

正则化逻辑回归预测值异常问题排查

核心问题原因

  • 你当前拿到的负数值不是违约概率,而是模型输出的对数发生比(log-odds)。glmnet的predict函数默认返回线性预测器的原始输出(即link类型结果),这类值本身为任意实数,自然会出现小于-1的情况,并非取值错误。要得到0-1区间的实际概率,需要在调用predict时显式指定返回类型。
  • 代码存在两处逻辑偏差:
    • 你目标是实现岭正则化回归,但代码中alpha = 1对应的是Lasso回归,岭回归需要将alpha设为0;alpha取0到1之间的值时对应的是弹性网回归。
    • 变量类型处理存在冗余风险:你将已经拆分完成的互斥类别字段(如married、graduate_school、high_school、single、university等0/1型拆分字段)单独转为因子,会导致model.matrix生成模型矩阵时重复生成哑变量,引入完全共线的冗余特征,进一步干扰模型输出。

修正后的可运行代码

# 加载依赖包(补充遗漏的readxl包用于读取Excel文件)
library(tidyverse)
library(caret)
library(glmnet)
library(readxl)

creditdata <- read_excel("R bestanden/creditdata.xlsx")
df <- as.data.frame(creditdata)
df <- na.omit(df)

# 仅将目标变量、原始分类变量转为因子类型
df$default_payment_next_month <- as.factor(df$default_payment_next_month)
df$sex <- as.factor(df$sex)
df$married <- as.factor(df$married)
# 拆分得到的二值学历字段保留数值型即可,无需额外转因子,避免重复编码

set.seed(123)
training.samples <- df$default_payment_next_month %>% 
  createDataPartition(p = 0.8, list = FALSE)
train.data  <- df[training.samples, ]
test.data <- df[-training.samples, ]

# 生成训练集模型矩阵,自动处理因子变量的哑变量编码
x <- model.matrix(default_payment_next_month~., train.data)[,-1]
y <- ifelse(train.data$default_payment_next_month == 1, 1, 0)

# 岭回归设置alpha=0,通过交叉验证选择最优lambda
cv.ridge <- cv.glmnet(x, y, alpha = 0, family = "binomial")
ridge.model <- glmnet(x, y, alpha = 0, family = "binomial",
                      lambda = cv.ridge$lambda.1se)

# 生成测试集模型矩阵
x.test <- model.matrix(default_payment_next_month ~., test.data)[,-1]

# 关键修正:指定type = "response",返回0-1区间的违约概率
probabilities <- ridge.model %>% predict(newx = x.test, type = "response")
predicted.classes <- ifelse(probabilities > 0.5, "1", "0")
observed.classes <- test.data$default_payment_next_month
# 计算测试集预测准确率
mean(predicted.classes == observed.classes)

注意事项

  • 不要将对数发生比类型的输出直接与0.5的分类阈值比较,必须转换为响应类型的概率值后再做类别划分,否则阈值判断逻辑完全失效。
  • 已完成拆分的二值特征无需额外转为因子,避免模型矩阵引入共线冗余特征导致预测偏移。

内容的提问来源于stack exchange,提问作者BusinessTiger

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 03:15:05