np.random.multivariate_normal使用float32协方差矩阵的警告问题

这是个典型的数值精度导致的假阳性警告，咱们一步步拆解原因和解决方案：

问题根源 #

你说的没错，理论上这个协方差矩阵是严格正定的（特征值为1.5和0.5，全为正）。但当你把它转成np.float32后，问题就出在单精度浮点数的有限精度上：

• Numpy的np.random.multivariate_normal内部会对协方差矩阵执行Cholesky分解，这个分解要求矩阵必须是正定（或半正定）的。
• float32只有约6-7位有效数字，在存储和计算过程中，矩阵的元素可能会产生微小的误差，导致分解算法误判矩阵不符合正定条件，从而抛出警告。
• 而float64有15-17位有效数字，精度足够高，能保留矩阵的正定特性，所以不会触发警告。

可行解决方案 #

方案1：给协方差矩阵添加极小扰动 #

给矩阵对角线加上一个微小的正数（比如1e-6量级），确保矩阵严格正定，同时几乎不改变原分布的特性：

import numpy as np

mu = [0, 0]
cov = np.array([[1, 0.5], [0.5, 1]], dtype=np.float32)
# 添加极小的单位矩阵扰动，适配float32精度
epsilon = 1e-6 * np.eye(cov.shape[0], dtype=np.float32)
stable_cov = cov + epsilon
# 现在采样不会触发警告
samples = np.random.multivariate_normal(mu, stable_cov)

方案2：使用新版随机数生成器API #

Numpy的新版np.random.Generator（从1.17版本开始引入）对数值稳定性做了优化，对float32的支持更好，你可以试试：

rng = np.random.default_rng()
samples = rng.multivariate_normal(mu, cov, dtype=np.float32)

如果还是有警告，结合方案1的扰动一起用效果更佳。

方案3：先在float64下预处理再转float32 #

先在高精度下完成Cholesky分解，再把分解结果转成float32用于采样：

cov_64 = np.array([[1, 0.5], [0.5, 1]], dtype=np.float64)
L = np.linalg.cholesky(cov_64)
L_32 = L.astype(np.float32)
# 手动生成样本：mu + L @ 标准正态样本
samples = mu + L_32 @ np.random.randn(2).astype(np.float32)

这种方式绕过了multivariate_normal内部的精度检查，直接用分解后的矩阵生成样本，精度损失更小。

内容的提问来源于stack exchange，提问作者Abdul Fatir