R语言决策树训练耗时过长及预测报错问题求助

问题背景 #

• 数据集情况：10个特征列、1170条观测值，由Excel转换为dataframe后训练，分类列与特征列分离
• 训练异常：全量数据训练已运行20小时未完成，但仅用10条观测值训练数秒即可生成模型
• 预测报错：用10条数据训练的模型对全量数据预测时，触发「变量值远超训练时取值范围」错误
• 数据细节：因变量为0-3共4个类别，存在大量NA值；因变量分布严重不平衡：
  • 0->135 obs
  • 1->12 obs
  • 2->924 obs
  • 3->98 obs

现有代码 #

train_cols <- df3[,c(18,30, 42, 54, 186, 222, 258, 270, 294, 318)]
tree_model <- rpart(df3[1:1100, 2] ~ ., data = train_cols[1:1100,], method = "class",control = rpart.control(cp = 0.01, minsplit = 2, maxdepth = 5, na.action = "na.pass"))
pred <- predict(tree_model, train_cols, type = "class", na.action=na.omit)

问题定位与解决建议 #

1. 全量训练耗时过长的原因及解决 #

• NA值处理拖慢计算：na.action = "na.pass"保留所有含NA的观测值，rpart处理大量缺失值时会尝试更多分裂组合，大幅增加计算量。建议改为na.action = na.omit先过滤缺失值，或对NA做均值/中位数填充后再训练。
• 类别不平衡增加计算成本：类别2占比超79%，模型会反复尝试对多数类划分，拉高计算开销。可给少数类设置更高权重（通过class.weight参数），或做过采样/欠采样平衡类别分布。
• 参数设置不合理：minsplit = 2允许分裂的最小样本数过低，导致模型尝试过多细碎分裂，建议调高到10-20；cp=0.01剪枝力度弱，结合小minsplit易产生冗余分支，可适当调高cp值。

2. 预测时「变量值超范围」的原因及解决 #

• 训练样本代表性不足：仅用10条数据训练，特征取值范围远小于全量数据，全量数据中的极值超出训练集覆盖范围，模型无法处理。必须使用足够有代表性的训练子集（比如全量数据的70%-80%），确保训练集覆盖特征的主要取值区间。
• 样本选择逻辑缺陷：训练用的是前1100条数据的特征，但测试时用全量特征；如果前1100条数据的特征取值确实没覆盖全量范围，也会触发错误。建议用分层抽样划分训练集，保证子集类别分布与全量一致。

3. 其他优化方向 #

• 先做特征预处理：检查并截断极端值，对NA值做填充，减少模型处理异常数据的开销。
• 改用高效树模型：ranger或xgboost的树模型，处理大数据量和缺失值的效率远高于基础rpart。
• 用专业工具划分数据集：借助caret包的createDataPartition做分层抽样，避免训练集类别失衡或代表性不足。

内容的提问来源于stack exchange，提问作者Joanna