PyMC3配置Polynomial核超先验时触发非正定矩阵LinAlgError报错
PyMC3 多项式核高斯过程Cholesky分解失败排查
复现代码与报错特征
运行如下配置多项式核的高斯过程模型时,会触发Cholesky分解失败错误:
with pm.Model() as self.model: EPSILON = 0.1 l = pm.Gamma("l", alpha=2, beta=1) offset = pm.Gamma("offset", alpha=2, beta=1) nu = pm.HalfCauchy("nu", beta=1) d = pm.HalfNormal("d", sd=5) cov = nu ** 2 * pm.gp.cov.Polynomial(X.shape[1], l, d, offset) self.gp = pm.gp.Marginal(cov_func=cov) sigma = pm.HalfCauchy("sigma", beta=1) y_ = self.gp.marginal_likelihood("y", X=X, y=Y, noise=sigma) self.map_trace = [pm.find_MAP()]
报错核心特征:
- 报错栈最终指向scipy线性代数模块,抛出
LinAlgError: N-th leading minor of the array is not positive definite,表示传入分解的协方差矩阵不满足正定性要求 - 调整超先验参数时,报错提示的非正定前主子式阶数会动态变化,不存在固定的错误矩阵结构
- 触发分解的协方差矩阵为40×40维度,对应训练集样本量为40
核心成因排查
- 多项式核固有数值特性:PyMC3内置
Polynomial核的计算逻辑为(offset + (x1 @ x2.T)/l²)^d,当多项式阶数d较大、长度尺度l与输入特征尺度不匹配时,核矩阵的条件数会极速飙升,在有限浮点精度下极易出现数值层面的非正定 - 超先验取值范围不合理:当前
d采用标准差为5的HalfNormal先验,允许d取到远高于常规回归需求的数值(如d>3);配合Gamma先验的l如果被MAP优化器推到极小值,会直接放大核矩阵的数值发散效应 - 缺少数值稳定项:代码中定义了
EPSILON = 0.1但从未纳入协方差计算,当噪声参数sigma被优化到极小值时,总协方差矩阵K + σ²I的对角项无法覆盖浮点计算带来的微小负误差,直接导致矩阵非正定 - 输入数据未做尺度适配:如果输入特征X的取值跨度极大,多项式乘方操作会快速放大数值溢出效应,即便解析层面是正定的核矩阵,在float64精度下也会出现计算误差导致的非正定
可落地解决方案
- 给协方差矩阵追加对角抖动项:在原有协方差基础上叠加微小的白噪声项,抵消浮点计算误差,示例代码:
抖动项的取值通常在1e-6 ~ 1e-2量级,可根据实际数据的尺度调整大小,无需追求过大的抖动值# 原有cov定义之后追加 cov = cov + pm.gp.cov.WhiteNoise(EPSILON) - 收紧超先验的合理取值范围,匹配多项式核的特性:
- 将多项式阶数
d的先验替换为符合回归实际的范围,比如使用离散均匀先验限制d的取值在1~3区间,避免高阶带来的核矩阵病态 - 调整长度尺度
l的先验匹配输入特征的实际尺度:如果输入特征已做标准化处理,可将l的先验设置为以1为中心的窄分布,避免优化器把l推到极小值放大计算误差 - 适配offset项的尺度:offset是多项式核的常数项,取值需要和输出y的尺度匹配,过大的offset会抬升核矩阵整体数值、提高条件数,需要根据实际数据调整先验均值
- 将多项式阶数
- 前置做输入数据标准化:在将X传入高斯过程模型前,对每个特征维度做零均值、单位方差的标准化处理,从根源上缩小多项式计算的数值跨度,降低核矩阵的条件数
- 约束MAP优化的参数边界:如果find_MAP优化过程中出现参数跑到边界值(比如nu趋近于0、sigma趋近于0),可给对应参数加上显式的下界约束,避免优化器试探到数值不稳定的参数区域
内容的提问来源于stack exchange,提问作者Ravindu Fernando
相关产品推荐
相关产品推荐

