multinomial regression处理连续输出时运行失败的解决方案咨询

你当前的场景属于典型的高维小样本建模场景：样本量仅3400条，连续自变量多达2500个，多分类逻辑回归的参数规模会随类别数进一步扩大，默认优化算法在这种场景下收敛极慢，仅调整MaxNWts参数（控制权重参数容纳上限）无法解决核心效率问题，可参考以下优化方向：

• 特征降维/筛选
  2500个连续特征存在大量冗余或与目标变量无关的特征，可先做预处理压缩特征量：比如计算每个特征与响应变量的互信息、方差分析F值，保留Top 300~500个相关性最高的特征；也可以用PCA将高维特征压缩到几十至上百个主成分，特征规模下降后模型收敛速度会有量级级的提升。
• 更换适配高维场景的模型实现
  如果你用的是R语言nnet包的multinom函数，它默认采用准牛顿优化算法，高维场景下效率极低，可替换为glmnet包的多分类逻辑回归实现，调用时指定family = "multinomial"即可，该实现采用坐标下降法，高维场景下的训练效率比multinom高3~10倍，还自带L1/L2正则能力，不需要手动调整MaxNWts参数。
• 增加正则约束减少有效参数规模
  你当前的参数规模为（2500+1）*(类别数-1)，如果类别数为10，参数规模就已经超过2万，加入L1正则可以把大量不重要特征的权重压缩为0，实际参与迭代的有效参数会大幅减少，收敛速度也会明显提升。
• 调整收敛阈值减少迭代次数
  多分类逻辑回归默认的收敛阈值通常为1e-8，你可以根据业务精度需求，手动将收敛阈值调高到1e-4~1e-5，不需要追求极端的收敛精度，可以大幅减少迭代轮次。
• 替换为轻量化高维适配模型
  如果调整后训练速度还是不符合要求，可以考虑用朴素贝叶斯、轻量化梯度提升树（LightGBM）等模型替代，这类模型在高维小样本场景下的拟合效果往往优于多分类逻辑回归，训练速度也更快。

内容的提问来源于stack exchange，提问作者Emma