Weka Experiment标签与单个分类器模型的结果一致性验证疑问

两者的对应关系及一致性说明 #

只要实验配置完全对齐，两者的同名指标计算逻辑完全一致，数值也会匹配，出现差异大概率是以下配置问题导致的：

• 实验拆分规则不一致：Weka的Experiment模块默认采用10次10折交叉验证取均值的评估策略，如果你第一张表的结果是单次训练测试拆分（比如默认66%训练/34%测试）或者交叉验证折数、重复次数和Experiment设置不同，数值就会有偏差。
• 随机种子与预处理逻辑不一致：如果两次运行的随机种子不同，或者你自己跑分类器时额外加了预处理步骤（缺失值填充、特征筛选、归一化等）但Experiment里的算法没有配置相同的过滤器，结果也会出现差异。
• 指标计算口径不一致：分类任务下Weka默认输出的RMSE是基于模型输出的类别概率计算的，如果你自己统计时是用硬分类预测结果（即直接输出的类别标签）和真实标签计算RMSE，两者口径不同数值自然对不上。

校验方法 #

你可以在Experiment模块中做如下配置后重新运行，就能得到和第一张表完全一致的结果：

1. 设置重复运行次数为1，交叉验证折数和你自己跑的时候完全相同
2. 固定和你之前运行相同的随机种子
3. 给每个算法添加和你之前运行时完全一致的预处理过滤器
4. 如果是分类任务，确认你自己统计RMSE的口径和Weka一致，或者直接取硬分类RMSE做对比

内容的提问来源于stack exchange，提问作者Encipher