指数移动协方差矩阵非正定问题排查及移动方差公式正确性咨询

一、指数移动方差公式正确性验证 #

你所用的公式是正确的，不需要修改。
标准指数加权移动方差的递推逻辑就是对历史统计量乘以衰减系数alpha，再叠加新样本的贡献：将你给出的公式展开后为：
var_n = alpha * var_{n-1} + alpha*(1-alpha) * (sample - mean_{n-1})^2
这个形式完全符合指数加权的衰减规则，你参考的资料中的实现是标准的增量式EWM方差写法，所谓的"新样本项额外乘alpha"是递推展开后的正常结果，没有错误。

二、移动协方差矩阵非正定问题原因及修复方案 #

你将方差替换为外积计算协方差矩阵的思路本身没有问题，出现正定性报错、KL散度为负的问题，都是数值稳定性和初始化问题导致的，具体原因和修复方法如下：

核心原因 #

1. 浮点误差累积：多轮递推的浮点运算误差会累积，导致协方差矩阵的最小特征值变为绝对值极小的负数（通常在1e-8量级），虽然不影响实际语义，但PyTorch的多元高斯、KL散度等算子对正定性有严格的校验，会直接报错。
2. 初始化不合理：如果初始协方差矩阵设为全零，在迭代次数小于特征维度（比如32维特征的前31次迭代）时，协方差矩阵天然不满秩，不满足正定性要求。
3. 超参设置不当：如果alpha取值太接近1，新样本贡献被压制，协方差矩阵会长期处于不满秩状态，放大数值误差的影响。

修复方案 #

• 初始化时添加对角扰动：初始协方差矩阵设置为covmat_0 = np.eye(特征维度) * 1e-6，保证初始状态就满足正定性。
• 每轮更新后做稳定化处理：每次计算完covmat_n后执行covmat_n = (covmat_n + covmat_n.T) / 2 + np.eye(特征维度) * 1e-8，对称处理抵消浮点运算带来的微小不对称，极小的对角项强制保证正定性。
• 预热期规避使用：前n轮（n≥特征维度）迭代过程中如果下游任务对协方差质量要求高，可以先跳过使用，等矩阵迭代足够多次满秩后再接入下游任务。

内容的提问来源于stack exchange，提问作者Tomsen1410