R语言One-R分类模型灵敏度特异度计算与混淆矩阵偏差问题问询

1. “data contains unused factor levels”警告处理 #

• 是否需要处理：是。未使用的因子水平会导致模型预测时出现匹配错误、指标计算偏差，甚至在部署时出现无法预料的输出异常，必须处理。
• 处理方案：
  • 数据集拆分完成后，对训练/测试集统一调用droplevels()函数删除未出现的因子水平，示例代码：

    # 处理整个数据集
    train <- droplevels(train)
    test <- droplevels(test)
    # 仅处理标签列
    train$label <- droplevels(train$label)
    

  • 如果需要手动指定保留的水平，可以用forcats包的fct_drop()函数，精准剔除无样本的水平。
  • 训练OneR模型时增加na.action = na.omit参数，同步处理缺失值导致的无效水平问题。

2. 混淆矩阵行列相反、指标偏差校准 #

• 问题原因：确实为标签/行列定义不一致导致：caret的confusionMatrix()默认参数顺序是(预测值, 真实值)，且正类默认取因子的第一个水平；手动构建混淆矩阵时多数用户会把真实值放行、预测值放列，且正类可能自定义为恶性（M），和默认规则冲突。
• 校准方案：
  • 先统一因子水平顺序，明确指定正类在前：

    # 把恶性M设为第一个水平，即默认正类
    dat$label <- factor(dat$label, levels = c("M", "B"))
    

  • 调用caret函数时显式指定正类，避免歧义：

    confusionMatrix(pred = pred_result, reference = test$label, positive = "M")
    

  • 手动计算指标前先对齐行列规则：如果手动矩阵是[真实值, 预测值]结构，先转置后再代入caret的计算逻辑，或者直接按定义计算：灵敏度=真阳/(真阳+假阴)，特异度=真阴/(真阴+假阳)。

3. 最优特征与参考研究不符的排查 #

• 首先OneR模型的核心逻辑是选择单特征下分类错误率最低的特征作为最优特征，运行逻辑是否正确可从以下维度排查：
  • 数据集一致性：确认你使用的乳腺癌数据集版本、清洗规则和参考研究一致，比如是否删除了异常样本、是否做了特征标准化、是否包含所有参考研究中的特征。
  • 训练集分布：确认数据集拆分的随机种子是否固定，不同的训练集分布会导致单特征的错误率排序发生变化，可固定种子后重新训练验证。
  • 分箱参数差异：OneR默认会对连续特征做自动分箱，bins参数设置不同会直接影响特征的分类错误率，可调整分箱数后重新对比最优特征结果。
  • 参考研究模型差异：如果参考研究用的是多特征分类模型，和单特征的OneR最优特征存在差异属于正常情况，单特征最优不等于多特征组合下的最优。
• 修正建议：固定随机种子后手动计算所有特征的单特征分类错误率，验证perimeter是否确实为当前训练集下错误率最低的特征，若要复现参考研究结果可切换为多特征分类模型，或调整OneR的分箱规则。

内容的提问来源于stack exchange，提问作者cocoakrispies93