17个特征预测百分比目标的非线性机器学习算法咨询

首先纠正一个认知偏差：你之前用多项式回归遇到的维度适配问题是实现错误导致的，多项式回归本身完全支持多输入单输出场景，不存在X和Y维度必须匹配的要求。

优先修正多项式回归的正确实现 #

• 不要自己手写特征交叉逻辑，直接用sklearn.preprocessing.PolynomialFeatures做特征转换，会自动为17个输入变量生成高次项、特征交叉项，转换后直接接入带正则的线性模型即可，完全适配单目标预测
• 17个特征做多项式转换容易出现特征爆炸，degree参数建议设为2，最高不要超过3，搭配Ridge/L2正则或者Lasso/L1正则过滤无用特征，避免过拟合
• 因为目标是0-1区间的百分比值，可以在模型输出端加sigmoid映射把预测值约束在合理区间，避免出现负数或者大于1的无效结果

优先尝试的树类非线性算法（表格数据场景下拟合效果最稳，无维度适配问题） #

这类算法天生支持任意维度输入、单/多输出，对非线性关系、特征交互的捕捉能力远强于线性模型，且不需要对特征做标准化/归一化预处理，调参成本低，是你当前场景的首选：

• 随机森林回归
  调用sklearn.ensemble.RandomForestRegressor即可实现，对异常值鲁棒性好，泛化性强，训练速度快，还能自动输出特征重要性帮你判断17个输入变量的贡献度，适合作为树模型的baseline
• 梯度提升树系列（精度最高的表格数据方案）
  包含几个常用实现：sklearn.ensemble.GradientBoostingRegressor、XGBoost的XGBRegressor、LightGBM的LGBMRegressor、CatBoost的CatBoostRegressor。这类模型通过迭代拟合残差的方式能捕捉非常复杂的非线性关系，在绝大多数结构化数据集上的拟合效果都优于传统线性模型、随机森林。如果你的百分比目标是由二分类计数得到的（比如转化率、合格率），还可以直接把任务转为二分类，用logistic损失输出0-1的概率值，和百分比目标的匹配度更高
• 极端随机树
  调用sklearn.ensemble.ExtraTreesRegressor实现，训练速度比随机森林更快，在数据集噪声较大的场景下泛化表现更优

其他可选非线性方案 #

• 支持向量回归（SVR）
  调用sklearn.svm.SVR，通过RBF等核函数隐式映射高维空间拟合非线性关系，在小样本数据集上表现不错。注意使用前必须用StandardScaler对输入特征做标准化，样本量超过1w时训练速度会明显下降
• K近邻回归
  调用sklearn.neighbors.KNeighborsRegressor，原理简单无需训练，适合特征物理意义清晰、样本分布均匀的场景。同样需要做特征标准化，17个特征的场景下建议先做特征筛选剔除无关变量后再使用，避免维度灾难影响效果
• 小型全连接神经网络（MLP）
  可以用sklearn.neural_network.MLPRegressor或者PyTorch/TensorFlow搭建2-3层的全连接网络，输出层加sigmoid激活就能直接输出0-1区间的百分比预测值。这类模型拟合能力极强，但对数据量要求更高，样本量不足时容易过拟合，且需要做特征标准化，调参成本高于树模型

百分比目标的建模注意事项 #

• 评估指标不要仅用R²，建议搭配MAE、RMSE同时衡量误差，还要统计预测值落在[0,1]区间外的比例，避免出现无意义的预测结果
• 如果模型经常输出超出0-1范围的值，可以先对目标值做logit转换再训练，预测完成后做逆转换还原为百分比值

内容的提问来源于stack exchange，提问作者QuestionMan2345