在Weka中用GridSearch调优NB等5种算法，如何确定参数取值？

下面针对你提到的5种算法，结合Weka的具体实现，给出GridSearch调参的参数取值建议：

1. 朴素贝叶斯（NB，对应Weka的NaiveBayes类） #

NB的参数较少，直接覆盖所有布尔组合即可：

• -K：是否使用核估计替代离散化，取值true、false
• -D：是否对数值属性离散化，取值true、false
• -O：是否计算旧版似然率，取值true、false

2. 支持向量机（SVM，对应Weka的SMO类） #

SVM的核心参数对性能影响大，采用对数尺度覆盖不同量级：

• -C：惩罚系数，取值0.01, 0.1, 1, 10, 100
• -K：核函数类型，取值linear（线性）、poly（多项式）、rbf（径向基）
  • 若选poly，额外调-E（多项式指数）：1, 2, 3
  • 若选rbf，额外调-G（gamma参数）：0.001, 0.01, 0.1, 1, 10
• -L：损失函数epsilon值，取值0.001, 0.01, 0.1

3. 逻辑回归（LR，对应Weka的Logistic类） #

重点关注正则化相关参数：

• -C：是否启用正则化，取值true、false
• -R：正则化系数，取值0.001, 0.01, 0.1, 1, 10（对数尺度）
• -M：最大迭代次数，取值50, 100, 200
• -B：是否包含偏置项，取值true、false

4. K近邻（KNN，对应Weka的IBk类） #

围绕邻居数量和距离规则调整：

• -K：邻居数，取值1, 3, 5, 7, 9, 11（数据集较大时可扩展到15）
• -W：距离权重方式，取值0（无权重）、1（距离倒数）、2（距离平方倒数）
• -A：距离度量，选用EuclideanDistance（欧氏）、ManhattanDistance（曼哈顿）

5. 随机森林（RF，对应Weka的RandomForest类） #

聚焦树数量、特征选择和叶子节点约束：

• -I：决策树数量，取值50, 100, 200, 300（数据集大时可增加到500）
• -K：每棵树分裂时的候选特征数，可按特征总数的sqrt(num_features)、log2(num_features)、num_features/3取整数，或直接试具体值（如10个特征时取3,4,5）
• -M：叶子节点最小样本数，取值1, 2, 5, 10

通用调参技巧 #

• 先做粗粒度搜索：比如先试0.01,1,100这样的间隔，找到最优区间后再细化（如最优在1附近时，再试0.5,1,2），减少计算量
• 优先调核心参数：比如SVM的C和核函数、RF的树数量和特征数，次要参数可延后或固定默认值
• 用10折交叉验证作为GridSearch的评估方式，避免过拟合调参结果
• 大数据集可先采样10%-20%数据做预调参，再用全数据验证最优参数组合

内容的提问来源于stack exchange，提问作者Muneera