Scikit-learn SVR训练后无支持向量 输出恒定值问题求助

你遇到的问题既不是代码错误，也不是数据集本身异常，属于SVR超参数配置疏漏导致的典型问题。

具体原因 #

• SVR的损失函数默认存在epsilon容忍间隔参数，只有预测值和真实值的偏差超过epsilon的样本才会被判定为支持向量，参与模型参数更新。
• 你仅对C、gamma两个参数做了网格搜索，未调整epsilon：如果当前默认epsilon的数值大于你自有数据集标签的整体波动范围，所有样本都会落在容忍间隔内，训练后自然没有支持向量，模型只会输出固定的标签均值，表现为预测值恒定、交叉验证得分极差。
• 随机数据集可正常拟合是因为其标签波动范围大于你默认的epsilon设置，KernelRidge算法不存在epsilon类间隔超参数，所以不受该问题影响，可正常拟合。

• 在GridSearchCV的超参数搜索空间中加入epsilon的搜索范围，可根据你数据集标签的数值量级，覆盖1e-4 ~ 1e1区间测试。
• 快速验证可手动将SVR的epsilon参数设置为极小值（比如epsilon=1e-5），重新训练即可看到支持向量正常生成，拟合效果回归正常。
• 可选优化：训练前对特征、标签分别做标准化处理，可降低SVR超参数的调优难度，避免数值量级差异导致的超参数适配问题。

内容的提问来源于stack exchange，提问作者Florian Klemme