正则化线性回归与RKHS回归的核心差异技术咨询

其实两者的核心区别完全源于正则化约束的空间和对象不同，这直接决定了它们的拟合能力、泛化逻辑，甚至求解方式。我结合你给出的核回归形式来具体拆解：

1. 先回顾线性回归的正则化（以L2正则化/岭回归为例） #

线性回归的假设空间是原始输入特征张成的有限维线性空间，假设输入特征是$d$维的，我们要拟合的函数是$f(x) = \beta^T x$，对应的带正则化的优化问题是：
$$\min_{\beta \in \mathbb{R}^d} \frac{1}{2m}||y - X\beta||_2^2 + \frac{\lambda}{2}||\beta||_2^2$$
这里的正则项$\frac{\lambda}{2}||\beta||_2^2$约束的是原始特征空间中参数向量$\beta$的L2范数，本质是让参数尽可能“小”，避免单个特征的权重过大导致过拟合——说白了就是对参数做“收缩”，限制模型在有限维特征空间里的复杂度。

2. RKHS回归的正则化逻辑 #

你给出的核回归形式$f(x) \approx u(x) = \sum_{i=1}^m \alpha_i K(x,x_i)$，对应的完整带正则化的优化问题应该是：
$$\min_{\alpha \in \mathbb{R}^m} \frac{1}{2m}||y - K\alpha||2^2 + \frac{\lambda}{2}||u||{\mathcal{H}}^2$$
其中$K$是$m \times m$的核矩阵（$K_{ij}=K(x_i,x_j)$），而$||u||_{\mathcal{H}}^{2$是函数$u(x)$在再生核希尔伯特空间（RKHS）$\mathcal{H}$中的范数，根据再生核的性质，它可以转化为$\alpha}T K \alpha$。

这里的正则项约束的是无限维函数空间$\mathcal{H}$中函数$u(x)$的复杂度，而不是原始参数：

• RKHS是核函数$K$诱导出的无限维空间（除非核是有限秩的），核技巧帮我们不用显式处理这个高维空间，而是通过核矩阵间接计算；
• 这个范数通常对应函数的“平滑性”（比如高斯核对应的是函数的高阶导数约束，让函数变化更平缓），正则化的目的是限制函数在无限维空间里的波动，防止过拟合。

3. 核心差异的关键对比 #

• 正则化对象不同：
  • 线性回归：约束原始特征空间的参数向量，是对“特征权重”的限制；
  • RKHS回归：约束无限维函数空间中的函数本身，是对“函数复杂度/平滑性”的限制。
• 假设空间维度不同：
  • 线性回归的假设空间是有限维（维度等于输入特征数$d$），只能拟合线性关系；
  • RKHS回归的假设空间是无限维，能拟合高度非线性的关系，正则化是为了在这个无限空间里控制模型复杂度。
• 正则项的物理含义不同：
  • 线性回归的L2正则化：让模型更“简洁”，避免依赖少数特征；
  • RKHS的正则化：让模型更“平滑”，避免函数在样本点之间的波动过大（比如高斯核下，样本距离近的区域函数值变化更平缓）。
• 求解规模不同：
  • 线性回归正则化后求解的是$d$维线性方程组；
  • RKHS回归求解的是$m$维线性方程组（$m$是样本数），这也是核技巧的核心——用样本数维度的计算替代无限维空间的计算。

一句话总结 #

线性回归的正则化是在有限维特征空间里收缩参数，而RKHS回归的正则化是在无限维函数空间里约束函数平滑性，这就是两者最本质的区别，也是核方法能处理非线性问题同时控制过拟合的核心原因。

内容的提问来源于stack exchange，提问作者MthQ