函数内积趋于无穷相关疑问：无限维空间基函数逼近技术问询

我猜你大概率是想问如何计算最优逼近系数或者怎么选择合适的基函数子集最小化逼近误差——这是这类问题里最核心的两个方向，我就从这两方面给你拆解：

1. 最小二乘意义下的最优逼近系数计算 #

如果你的目标是让逼近误差的范数$|f - \sum_{i \in S} c_i \phi_i|$最小（$S$是${1,2,...,N}$的有限子集），那根据内积空间的正交投影定理，最优系数$c_i$满足：
$$\langle f - \sum_{j \in S} c_j \phi_j, \phi_i \rangle = 0 \quad \forall i \in S$$
展开后就能得到线性方程组：
$$\sum_{j \in S} c_j \langle \phi_j, \phi_i \rangle = \langle f, \phi_i \rangle \quad \forall i \in S$$
这就是大家常说的正规方程组。如果基函数${\phi_i}_{i \in S}$是正交基，计算会简化很多：此时$\langle \phi_j, \phi_i \rangle = 0$（当$i \neq j$），系数直接是：
$$c_i = \frac{\langle f, \phi_i \rangle}{\langle \phi_i, \phi_i \rangle}$$
要是遇上标准正交基（$\langle \phi_i, \phi_i \rangle = 1$），系数就等于$\langle f, \phi_i \rangle$，完全不用额外计算。

2. 合适基函数子集的选择策略 #

如果你的问题是从${\phi_i}_{i=1}^N$里挑出最优的有限子集，常见的实用方法有这些：

• 贪心算法（正交匹配追踪OMP）：每次选择和当前残差内积最大的基函数，重复这个过程直到误差满足预设阈值。这种方法计算量小，适合大规模基函数集合。
• 稀疏正则化（Lasso）：通过L1正则化约束系数，让大部分系数自动归零，从而筛选出对逼近贡献最大的基函数。对应的优化问题是：
  $$\min_{c} |f - \sum_{i=1}^N c_i \phi_i|^2 + \lambda \sum_{i=1}^N |c_i|$$
  其中$\lambda$是正则化参数，用来控制稀疏程度。
• 误差贡献排序筛选：预先计算每个基函数单独加入时的误差减少量，按减少量从大到小排序，选择前k个直到满足误差要求。

额外小提醒 #

如果你的基函数不是正交的，正规方程组可能会出现病态问题（比如基函数线性相关或接近相关），这时候别直接求逆，用QR分解或者SVD来求解能避免数值不稳定的问题。

内容的提问来源于stack exchange，提问作者controllystuff