岭回归最小二乘法：如何对β₀求导并求解β₀？

你已经推导到的步骤完全正确，咱们接着往下把β₀的解推导出来，逻辑其实很清晰：

首先明确损失函数：

$ F = \frac{1}{2} |X \beta + \mathbf{1}\beta_0 - y|^2 + \tfrac{C}2|\beta|^2 $

你对β₀求偏导的过程是对的——因为L2范数的导数规则是：若$L = \frac{1}{2}|A - b|^2$，则$\frac{\partial L}{\partial k} = (A - b)^T \cdot \frac{\partial A}{\partial k}$。这里$A = X\beta + \mathbf{1}\beta_0$，对β₀求偏导得到全1向量$\mathbf{1}$，所以：

$ \frac{\partial F}{\partial \beta_0} = (X \beta + \mathbf{1} \beta_0 - y)^T \mathbf{1} = 0 $

由于标量的转置等于自身，我们可以把式子转置一下，让矩阵运算更直观：

$ \mathbf{1}^T (X \beta + \mathbf{1} \beta_0 - y) = 0 $

展开这个内积表达式：

$ \mathbf{1}^TX \beta + \mathbf{1}^T\mathbf{1}\beta_0 - \mathbf{1}^Ty = 0 $

接下来用几个常用的简化符号梳理：

• 设样本数量为$n = n_{samples}$，那么$\mathbf{1}^T\mathbf{1} = n$（全1向量和自身的内积就是样本个数）
• 令$\bar{y} = \frac{1}{n}\mathbf{1}^Ty$，也就是目标变量y的均值
• 令$\bar{X}$为特征的均值行向量，即$\bar{X}_j = \frac{1}{n}\mathbf{1}^{TX_{:,j}$（$X_{:,j}$是X的第j列特征），那么$\mathbf{1}}TX\beta = n\bar{X}\beta$

把这些代入展开式后：

$ n\bar{X}\beta + n\beta_0 - n\bar{y} = 0 $

两边同时除以n，得到简洁的式子：

$ \bar{X}\beta + \beta_0 - \bar{y} = 0 $

最后解出β₀的最优解：

$ \beta_0 = \bar{y} - \bar{X}\beta $

额外说明 #

值得注意的是，这个结果和普通最小二乘法（OLS）里β₀的解完全一致！这是因为岭回归的正则项只惩罚特征系数β，不会对截距β₀做约束——截距的作用是拟合数据的整体偏移量，正则化不需要限制这部分。

在实际实现岭回归时，通常会先对数据做中心化处理（每个特征减去自身均值，y减去自身均值），这样就能把β₀的求解和β的求解完全分离，此时中心化后的模型不需要额外拟合截距项，能大幅简化后续计算。

内容的提问来源于stack exchange，提问作者vikkky