Scikit-Learn默认Lasso与简单坐标下降的差异及实现文献咨询

核心差异点 #

1. 坐标更新策略：随机而非循环遍历 #

你的简单实现是循环坐标下降——按固定顺序逐个更新所有特征的系数；而Scikit-Learn默认用的是随机坐标下降（SCD）：每次随机选择一个（或一小批）特征进行更新，不用遍历全部特征。这种方式能更快跳出局部最优，在高维或大规模数据集上收敛速度提升明显，尤其是当很多特征系数最终会被置为0时，随机选择能优先处理对目标函数影响更大的特征。

2. 残差的增量更新 #

简单循环坐标下降每次更新一个特征后，通常会重新计算整个残差向量，计算量随样本数线性增长；Scikit-Learn的实现则采用增量残差更新：只调整与当前更新特征相关的残差部分，避免全量计算，大幅降低了迭代中的计算开销，这是大数据集下速度差异的关键原因之一。

3. 稀疏性的主动利用 #

Lasso的解天然具有稀疏性（部分特征系数为0），Scikit-Learn会跟踪这些零系数特征，后续迭代中直接跳过它们，直到残差变化可能让这些特征重新变为非零系数时才再次处理，减少了大量无效计算。

4. 收敛准则与优化细节 #

Scikit-Learn的实现采用了更精细的收敛判断：监控目标函数的变化量、系数的更新幅度，而非简单的固定迭代次数；同时还包含了一些工程优化，比如预处理时对特征的内部缩放（避免不同尺度特征对更新步长的影响）、自适应调整迭代频率等，保证了结果的稳定性和收敛效率。

5. 算法自动选择逻辑 #

Scikit-Learn的Lasso默认会根据数据集规模自动选择最优算法：当样本数大于特征数时用随机坐标下降；当特征数更多时则切换为最小角回归（LARS）——这种算法能更高效地处理高维稀疏场景，而你的简单实现只覆盖了循环坐标下降这一种情况，自然在部分数据集上结果和速度都会有差异。

参考论文 #

Scikit-Learn的Lasso实现主要基于两篇核心论文：

• Regularization Paths for Generalized Linear Models via Coordinate Descent（Friedman et al., 2010）：系统阐述了用坐标下降求解广义线性模型正则化路径的方法，是Scikit-Learn线性模型正则化实现的核心依据。
• Stochastic Coordinate Descent Methods for L1-regularized Loss Minimization（Shalev-Shwartz et al., 2009）：奠定了随机坐标下降求解L1正则化问题的理论基础，为Scikit-Learn的SCD实现提供了算法框架。

内容的提问来源于stack exchange，提问作者Duc Hoang Nguyen