为何Scikit-learn的LinearRegression无需迭代与学习率参数？

Scikit-learn中的LinearRegression类没有使用梯度下降算法，而是通过**最小二乘法的解析解（正规方程）**直接计算出最优的斜率（m）和截距（c），因此不需要设置迭代次数和学习率这两个梯度下降特有的参数。

核心原理区别： #

• 梯度下降是通过多次迭代，逐步调整权重来逼近最优解，所以需要学习率控制步长、迭代次数控制停止时机；
• 最小二乘法的解析解则是直接通过矩阵运算，一次性求解出损失函数最小时的参数值，公式为：

  θ = (X^T X)^(-1) X^T y
  

  其中θ包含斜率和截距，X是添加了偏置项的特征矩阵，y是目标变量。

补充说明： #

如果需要使用梯度下降实现线性回归，可以使用Scikit-learn中的SGDRegressor类，这个类支持设置max_iter（迭代次数）和learning_rate（学习率）等参数，适合处理大规模数据集（当特征数很多时，解析解的矩阵求逆运算效率会下降）。

你的示例代码中，LinearRegression.fit()内部就是通过解析解直接计算出最优的m和c，不需要迭代过程，所以不用传入这两个参数。

内容的提问来源于stack exchange，提问作者convoluxon