关于正交性、特征向量与径向基神经网络的PCA技术问题

1. 若需将数据集转换为低维的正交坐标系，新坐标系中最重要的坐标方向是什么？ #

是数据集协方差矩阵最大特征值对应的特征向量方向。这个方向能保留数据集的最大方差，是数据分布最“舒展”、包含信息最多的维度，也是降维时优先保留的核心方向。

2. 数据集协方差矩阵的特征值与最小化数据损失的坐标变换之间存在何种关系？ #

• 协方差矩阵的特征值代表对应特征向量方向上的数据方差，值越大，该方向承载的数据信息越多。
• 最小化投影重构损失的坐标变换，本质是选择特征值从大到小排列的前k个特征向量构成投影矩阵：保留的特征值之和占总特征值和的比例越高，投影后的数据损失（重构误差）越小；总损失等于被舍弃的所有特征值之和。简单说，选特征值最大的那些方向，就能最大程度保留数据信息，最小化损失。

3. 请阐述可计算数据集协方差矩阵最大特征值对应特征向量的神经网络的架构、处理公式及学习规则。 #

这种网络是基于Hebbian学习的单层线性神经网络，具体如下：

• 架构：仅包含输入层和一个输出神经元，输入层节点数等于数据集的特征维度，输出神经元的权重向量对应待求解的特征向量。
• 处理公式：对于输入样本$\boldsymbol{x}$，输出$y = \boldsymbol{w}^T \boldsymbol{x}$，其中$\boldsymbol{w}$是权重向量（维度与输入一致）。
• 学习规则：采用Oja规则（改进型Hebbian规则），权重更新公式为：
  Δw = η(yx - y²w)
  其中$\eta$是学习率（小的正数）。Oja规则在Hebbian学习的基础上增加了$y^2\boldsymbol{w}$项，实现权重的自动归一化，避免权重无限增大，最终权重向量$\boldsymbol{w}$会收敛到协方差矩阵最大特征值对应的特征向量。

4. 请说明径向基神经网络（Radial Basis Neural Network）的独特特性。 #

• 局部逼近特性：隐含层的径向基函数（如高斯函数）是局部激活的，只有当输入样本靠近该函数的中心时，才会产生显著输出。相比BP网络的全局逼近，它对局部数据的拟合更精准，训练速度更快。
• 固定三层结构：由输入层、隐含层（径向基函数节点）、输出层组成，结构固定无需调整层数；隐含层节点数通常与训练样本数相关，或通过聚类确定中心数量。
• 分阶段训练：训练分为两步：先通过聚类（如K-means）确定隐含层径向基函数的中心和宽度，再用最小二乘法直接求解输出层的线性权重，无需像BP网络那样反复反向传播调参，训练效率更高。
• 强逼近能力：能以任意精度逼近连续非线性函数，对复杂非线性问题的拟合效果出色，同时泛化性能稳定。

内容的提问来源于stack exchange，提问作者Simon