我最近一直在试着把Mercer定理套用到具体的核函数上，以此来加深对这个定理的理解。先给大家梳理下基础背景：

核心定义铺垫 #

设$D \subset \mathbb{R}^N$是闭有界子集，我们将函数$K: D \times D \rightarrow \mathbb{R}$与希尔伯特-施密特积分算子$T_K: L^2(D) \rightarrow L^2(D)$关联，这个算子的定义是：
$$ T_K\phi = \int_{D} K(x,s) \phi(s) , ds. $$

我们称$K$是半正定核，当且仅当满足以下条件：对任意正整数$m$，任意选取$m$个点$(x_i){i=1}^m \in D$，对应的$m \times m$矩阵$K{ij} = K(x_i, x_j)$是半正定矩阵——换句话说，对任意实数向量$\mathbf{c} = (c_1, c_2, ..., c_m)^{T$，都有$\sum_{i,j=1}}m c_i c_j K(x_i, x_j) \geq 0$。

把Mercer定理落地到具体核上 #

Mercer定理的核心结论是：对于上述的半正定核$K$，存在一组正交归一的特征函数${\phi_n}{n=1}^\infty \subset L^{2(D)$，以及对应的非负特征值${\lambda_n}_{n=1}}\infty$，满足$\sum{n=1}^\infty \lambda_n < \infty$，并且核函数可以展开成在$D \times D$上一致收敛的级数：
$$ K(x,s) = \sum_{n=1}^\infty \lambda_n \phi_n(x) \phi_n(s), \quad \forall x,s \in D. $$

我自己试了用几个常见核函数代入，发现理解起来瞬间具体了：

• 比如高斯核$K(x,s) = e^{-|x-s|2/(2\sigma^2)}$，它的特征函数是埃尔米特函数的变形，特征值会随着$n$增大快速衰减，这也解释了为什么高斯核对应的级数展开通常只需要取前几项就能达到不错的近似效果。
• 再比如多项式核$K(x,s) = (x^T s + c)^d$（$c \geq 0$，$d$为正整数），它的Mercer展开其实和多项式的正交基直接挂钩，展开后的每一项都对应着多项式空间里的一个基函数，非常直观。

内容的提问来源于stack exchange，提问作者Josh