使用异数据集获取randomForest预测时遇两类问题求助

数据集准备代码 #

library(caret)
library(randomForest)
set.seed(2242)
inTrain <- createDataPartition(y = new_train$classe, p= 0.85, list = FALSE)
training <- new_train[inTrain,]
testing  <- new_train[-inTrain, ]

随机森林模型训练 #

model <- randomForest(classe~., data = training, importance = TRUE)

测试集预测（成功执行） #

testingpredictions <- predict(model, testing[ ,-55])

验证集预处理 #

chosen_columns为测试集中仅包含模型训练所用变量的子集

validation_set <- test[ ,chosen_columns]
validation_set$new_window<- as.factor(validation_set$new_window)

问题1：跨文件验证集预测报错 #

执行预测代码：

valpredictions <- predict(model, newdata = validation_set, type = "response")

触发错误：

Error in predict.randomForest(model, newdata = validation_set, type = "response") :
新数据中预测变量的类型与训练数据不匹配。

问题2：使用train函数并设置method = "rf"或method = "gbm"时程序崩溃 #

已尝试的无效方案 #

• 尝试合并数据集报错：

data <- rbind(train, test)

错误信息：

Error in match.names(clabs, names(xi)) :
列名与之前的列名不匹配。

• 尝试强制转换所有数据为同一类型，但问题1的错误仍存在

针对性解决方案 #

解决问题1：变量类型不匹配 #

1. 逐列比对变量类型
   用以下代码找出训练集与验证集类型不一致的变量：

   # 提取训练集和验证集的变量类型
   train_types <- sapply(training, class)
   val_types <- sapply(validation_set, class)
   # 生成对比表并筛选不匹配项
   type_compare <- data.frame(Training = train_types, Validation = val_types[names(train_types)])
   mismatched_types <- type_compare[train_types != val_types[names(train_types)], ]
   print(mismatched_types)
   

2. 统一变量类型
   严格按照训练集的类型转换验证集变量，尤其是因子变量要完全匹配训练集的水平：

   # 示例：将验证集变量转换为与训练集一致的因子类型
   validation_set$target_var <- factor(validation_set$target_var, levels = levels(training$target_var))
   

3. 检查列名一致性
   确保验证集列名与训练集完全一致（含大小写）：

   setdiff(names(training), names(validation_set)) # 训练集有但验证集缺失的列
   setdiff(names(validation_set), names(training)) # 验证集有但训练集多余的列
   

解决问题2：train函数执行崩溃 #

1. 降低算法计算复杂度
   调整参数减少内存占用与计算量：

   # 设置交叉验证策略，减少折数
   train_control <- trainControl(method = "cv", number = 3)
   # 控制随机森林的树数量与节点大小
   model_caret <- train(classe~., data = training, 
                        method = "rf",
                        trControl = train_control,
                        ntree = 50, # 减少树的数量
                        nodesize = 20) # 增大节点大小，降低树深度
   

2. 清理释放内存
   运行前清理无用对象，强制垃圾回收：

   rm(list = setdiff(ls(), c("training", "testing"))) # 仅保留必要数据对象
   gc() # 释放闲置内存
   

3. 大数据分批次处理
   若数据集过大，可使用bigmemory包处理，或先抽取部分数据做测试验证流程。

内容的提问来源于stack exchange，提问作者Bonolo Molopyane