sklearn LogisticRegression中newton-cg与newton-cholesky求解器的差异

• 海森矩阵处理逻辑不同

  • Newton-CG：属于共轭梯度变种的牛顿法，它不会直接计算完整的海森矩阵，而是通过矩阵-向量乘积来间接获取海森矩阵的信息，以此求解牛顿更新所需的线性系统。这种方式能避开大型海森矩阵的存储和直接计算，适合高维场景。
  • Newton-Cholesky：是精确牛顿法的实现，会直接计算完整的海森矩阵，再对其做Cholesky分解，通过分解后的矩阵求解线性系统。这种方式在海森矩阵规模不大时，精度和效率更有优势。

• 适用场景有差异

  • Newton-CG：更适配高维特征任务（比如十万级以上特征的文本分类），内存占用更低，不会因为海森矩阵过大导致资源瓶颈。
  • Newton-Cholesky：更适合中小规模特征的任务，直接计算+Cholesky分解的速度更快，求解线性系统的精度也更高。

• 收敛与稳定性表现不同

  • Newton-CG：依赖共轭梯度迭代求解线性系统，可能会因迭代次数设置或海森矩阵条件数问题，出现收敛速度波动，但整体仍保持二阶收敛速率。
  • Newton-Cholesky：由于是对海森矩阵做精确分解，求解线性系统的数值稳定性更好，收敛过程更平稳，二阶收敛的特性体现得更明显。

• sklearn实现细节差异

  • 在LogisticRegression中，Newton-CG仅支持L2正则化；Newton-Cholesky则同时支持L2正则化和无正则化场景，且在小数据集上的运行效率通常比Newton-CG更高。

内容的提问来源于stack exchange，提问作者Dmytro Horodetskyi