支持多输入多输出预测的机器学习回归模型选型咨询

原生支持多输出的回归算法 #

你调研时可能忽略了sklearn中大量原生支持多输入多输出的回归实现，不需要额外改造即可直接适配你的场景：

• 线性回归族：LinearRegression、Ridge、Lasso、ElasticNet均原生支持多输出拟合，会自动为每个输出变量计算独立的系数矩阵，150条样本的规模完全可以正常训练。其中带L1/L2正则的Ridge、Lasso版本还能缓解小样本场景下的过拟合问题，更适配你的数据规模。
• 树与集成模型：DecisionTreeRegressor、RandomForestRegressor、HistGradientBoostingRegressor均支持多输出任务，会基于输入特征同时优化多个输出的联合损失，小样本下可以通过限制树深、剪枝、减少基学习器数量来控制泛化效果。
• 近邻模型：KNeighborsRegressor原生支持多输出，通过匹配最近邻样本的输出均值做预测，没有复杂的参数拟合过程，对小样本数据集非常友好。

单输出算法转多输出的通用方案 #

如果你需要用到本身只支持单输出的回归算法（比如SVR、XGBoost单输出版本等），sklearn提供了现成的封装工具，无需手动拆分多个模型训练：

• MultiOutputRegressor：为每个输出变量单独训练一个独立的回归模型，你只需传入任意单输出回归器作为基模型即可，3个输出对应训练3个模型的计算量对150条样本来说完全没有压力。
• RegressorChain：按预设顺序训练回归模型，前一个模型的预测结果会作为后一个模型的输入特征，适合3个输出变量之间存在相关性的场景，能利用输出间的关联信息提升整体预测精度，比独立训练的方案效果更好。

小样本场景优化建议 #

针对你只有150条样本的情况，可以做以下适配调整提升模型效果：

• 优先选择带正则化的轻量模型，优先试Ridge回归，通过调整正则系数alpha控制模型复杂度，避免过拟合。
• 如果使用树类集成模型，建议把树的最大深度限制在3-5之间，随机森林的基学习器数量控制在50以内，减少模型参数规模。
• 如果3个输出变量之间相关性很高，可以先对输出做PCA降维，把3个输出映射为1-2个独立隐变量，训练完成后再逆映射回原始输出维度，进一步降低训练难度。

内容的提问来源于stack exchange，提问作者Matthew Lukaszewski