scikit-learn中LinearRegression与SGDRegressor的优化算法及核心差异咨询

scikit-learn 中的 LinearRegression 完全不涉及梯度下降类的迭代优化流程，它的核心实现是直接求解普通最小二乘损失的闭式解析解。
为了规避直接计算矩阵逆带来的数值不稳定问题，sklearn在底层对输入特征组成的设计矩阵做奇异值分解（SVD），通过分解结果直接推导损失函数对应的最优参数，整个求解过程一步完成，不存在多轮迭代逼近最优解的环节。

• 求解逻辑的本质区别：LinearRegression 靠SVD分解直接算出最小二乘损失下的全局最优参数，结果是确定的普通最小二乘解；SGDRegressor 靠随机梯度下降迭代更新参数，需要逐样本/逐小批量计算梯度调整权重，必须提前设置学习率、最大迭代次数、收敛阈值等超参数才能正常运行，输出结果是迭代收敛后的近似最优值。
• 适配的数据集规模不同：LinearRegression 的SVD求解时间复杂度和特征维度的三次方正相关，当特征维度很高、样本量极大时计算开销会陡增，更适配中小规模数据集；SGDRegressor 的计算开销和样本量近似线性相关，支持小批量流式训练，不需要一次性把全量数据载入内存，对超大规模数据集的适配性远优于前者。
• 预处理要求差异明显：LinearRegression 的矩阵求解过程不受特征尺度的影响，就算不同特征的量纲差异很大，也能算出稳定的结果；SGDRegressor 的梯度更新对特征尺度非常敏感，量纲差异过大的特征会让梯度路径反复震荡，收敛速度大幅变慢，常规使用时必须在训练前对所有特征做标准化处理。
• 内置功能的灵活度差异：LinearRegression 仅支持无正则的普通平方损失，没有内置L1/L2等正则化选项；SGDRegressor 可以灵活切换损失函数（比如Huber损失、ε-不敏感损失等），还内置支持L1、L2、弹性网等多种正则化策略，能适配异常值占比高、需要约束模型复杂度的各类回归场景。
• 结果稳定性不同：LinearRegression 的求解过程没有任何随机环节，相同输入下的输出结果完全固定；SGDRegressor 的训练过程涉及样本随机打乱、参数随机初始化等随机操作，最终结果会受随机种子、样本采样顺序的影响，容易出现收敛震荡、结果偏移的问题。

内容的提问来源于stack exchange，提问作者rajtilakjee