MNIST数据集梯度提升报错求助：Bernoulli要求响应值为{0,1}

错误原因 #

你遇到的报错核心问题是分布类型不匹配：
你使用了distribution="bernoulli"，这个参数是为二分类任务设计的，要求响应变量（Label）只能是0或1的二元值。但MNIST数据集的Label是0-9的10个数字，属于多分类任务，完全不符合伯努利分布的要求，所以触发了这个错误。

正确实现代码 #

我们需要把分布类型改成"multinomial"（gbm专门用于多分类的分布），同时调整数据处理的细节确保Label格式正确。以下是完整的可运行代码：

# 加载所需包
library(dplyr)
library(caret)
library(gbm)
library(snedata)

# 下载并加载MNIST数据集
mnist <- download_mnist()

# 数据预处理：转换为数值型，过滤无变化的特征，添加行ID
mnist_num <- as.data.frame(lapply(mnist[1:10000, ], as.numeric)) %>% 
  mutate(id = row_number(),
         # 将Label转换为因子（gbm的multinomial分布支持因子类型的响应）
         Label = as.factor(Label))

# 过滤掉所有样本值都相同的特征（无区分度）
mnist_num <- mnist_num[, sapply(mnist_num, function(x) max(x) - min(x) > 0)]

# 划分训练集和测试集
set.seed(5000)
mnist_train <- sample_frac(mnist_num, 0.70)
mnist_test <- anti_join(mnist_num, mnist_train, by = 'id')

# 训练多分类Gradient Boosting模型
boost_mnist <- gbm(Label ~ ., 
                   data = mnist_train %>% select(-id),  # 移除id列，不参与建模
                   distribution = "multinomial",  # 多分类分布
                   n.trees = 70, 
                   interaction.depth = 4, 
                   shrinkage = 0.3,
                   verbose = TRUE)  # 可选：显示训练过程

# 模型预测与评估
# 预测测试集类别概率
mnist_pred <- predict(boost_mnist, newdata = mnist_test %>% select(-id), n.trees = 70, type = "response")
# 转换为预测类别（取概率最大的类别）
pred_labels <- apply(mnist_pred, 1, function(x) colnames(mnist_pred)[which.max(x)])
# 计算准确率
accuracy <- mean(pred_labels == mnist_test$Label)
cat("测试集准确率：", round(accuracy, 4), "\n")

关键调整说明 #

• 把distribution从"bernoulli"改为"multinomial"，适配多分类任务。
• 将Label转换为因子类型，gbm的多分类模式对因子类型的响应变量支持更好。
• 移除了id列（不参与建模，避免干扰）。
• 添加了模型预测和准确率评估的步骤，方便你验证模型效果。

内容的提问来源于stack exchange，提问作者user12157475