PCA白化结合LDF实现贝叶斯分类器时互换类别精度异常问题

问题根因 #

你遇到的准确率异常是代码中存在两处数值计算错误导致的，仅在0、1二分类场景下触发，其他类别组合未触发所以表现正常：

• 第一处是致命笔误：零特征值处理代码用了双等号比较，未完成赋值
  你的代码中对应行：

  if D[i][i]==0:
      D[i][i]==10e-10
  

  这里==是比较运算符，不会修改D[i][i]的取值，遇到零特征值时该位置仍为0，后续计算1/(math.sqrt(D[i][i]))会出现除以0的错误，产生无穷大、NaN等异常值，直接干扰判别函数计算结果。
• 第二处是PCA白化实现逻辑错误：
  标准PCA白化需要先对特征值做降序排序，仅保留前k个最大的特征值对应的维度，丢弃小特征值对应的噪声维度。你的代码直接保留全部784维特征，甚至将数值计算误差导致的负特征值取反后计算逆平方根，相当于大幅放大了高频噪声，进一步扩大了数值错误的影响。

现象解释 #

只有0和1互换时准确率变化，其他类别组合正常的原因是：
MNIST数据集中0和1的手写形态差异极大，二值化后两类的共同激活像素少，协方差矩阵的有效秩更低，存在大量零特征值，刚好触发了上述笔误导致的数值异常。而1和7、1和9的形态相似度高，协方差矩阵有效秩更高，零特征值占比极低，笔误的影响没有显现，因此互换类别时准确率保持一致。

修复方案 #

1. 将零特征值处理行的双等号改为单等号赋值：

   if D[i][i]==0:
       D[i][i] = 10e-10
   

2. 特征值计算后先按从大到小排序，仅保留前100~200个最大的特征值对应的维度，丢弃剩余小特征值维度，避免噪声干扰。
3. 也可直接调用成熟第三方库的PCA实现完成白化，避免手动实现的数值错误。

内容的提问来源于stack exchange，提问作者Zhonghan Wang