退化威沙特分布间KL散度及正态分布二次型KL散度相关问题

我来逐个拆解你的两个问题：

首先得明确：退化威沙特分布一般是指两种情况——要么自由度 $n$ 小于矩阵维度 $p$，要么协方差矩阵 $\Sigma$ 的秩不足。这时候分布的支撑集是低维的半正定矩阵子空间，关于它们之间的KL散度，核心要点如下：

• KL散度是否有限全看支撑集是否重叠：如果两个退化威沙特的支撑集（也就是它们能取到的矩阵集合）不重叠，那 $D_{KL}(\mathbb{P}||\mathbb{Q})$ 直接是无穷大。举个例子，一个分布的支撑集是秩1的半正定矩阵，另一个是秩2的，那几乎所有来自 $\mathbb{P}$ 的样本都不在 $\mathbb{Q}$ 的支撑集里，对数密度比的期望会直接发散。
• 仅在支撑集一致的特殊情况可计算：如果两个退化威沙特的支撑集完全相同（比如都落在同一个 $k$ 维线性子空间上，$k < p$），可以把问题投影到这个子空间上，转化为 $k$ 维非退化威沙特的KL散度问题，这时候就能用非退化威沙特的KL公式计算。但这种情况完全依赖具体的秩结构，没有通用的闭式解。
• 一般场景无通用闭式解：对于任意的退化威沙特分布，支撑集结构复杂，密度函数还涉及广义逆、奇异行列式这些麻烦的东西，目前没有统一的闭式表达式能直接计算它们的KL散度，通常要么用数值方法，要么针对具体场景推导近似解。

先明确背景：当 $X \sim \mathcal{N}(\mu, \Sigma)$、$Y \sim \mathcal{N}(\nu, \Gamma)$（$\Sigma, \Gamma$ 都是正定矩阵）时，$\mathbb{P}$ 是 $XX^T$ 的分布，$\mathbb{Q}$ 是 $YY^T$ 的分布。这类分布属于单样本二次型分布，当维度 $p > 1$ 时，它们都是退化的半正定矩阵分布（因为 $XX^T$ 的秩几乎必然是1）。

2.1 是否存在闭式解？ #

一般情况下没有通用的闭式解，原因如下：

• 只有当 $p=1$ 时是特例：此时 $XX^T = X^2$，属于缩放后的非中心卡方分布，两个非中心卡方分布的KL散度可以通过密度函数推导得到闭式解，但这只是低维场景的特殊情况。
• 当 $p \geq 2$ 时，$XX^T$ 的概率密度函数本身就没有简洁的闭式表达式——它涉及奇异矩阵的行列式、广义逆，还要结合特殊函数，所以对数密度比的期望（也就是KL散度）没法化简成通用的闭式形式。只有在极少数特殊场景（比如 $\mu = \nu = 0$ 且 $p$ 很小），可能通过投影或特殊函数得到表达式，但不具备通用性。

2.2 是否存在比 $D_{KL}(X, Y)$ 更紧的上界？ #

根据数据处理不等式，对任意可测函数 $f$，都有 $D_{KL}(f(X)||f(Y)) \leq D_{KL}(X||Y)$，这里 $f(Z) = ZZ^T$，所以 $D_{KL}(\mathbb{P}||\mathbb{Q}) \leq D_{KL}(X||Y)$ 是一个天然的上界。

至于是否存在更紧的上界：

• 部分特殊场景下确实有：比如当 $\mu = \nu = 0$ 时，$\mathbb{P}$ 和 $\mathbb{Q}$ 是退化的威沙特分布 $W_p(\Sigma, 1)$ 和 $W_p(\Gamma, 1)$，这时候可以推导出 $D_{KL}(\mathbb{P}||\mathbb{Q})$ 的具体表达式（虽然会用到digamma这类特殊函数），这个值本身就比 $D_{KL}(X,Y)$ 更小，也就是更紧的上界。
• 一般场景下没有通用闭式紧上界：如果 $\mu \neq 0$ 或者 $\nu \neq 0$，虽然没有统一的闭式紧上界，但可以通过凸性不等式、矩估计等方法，针对具体的参数推导更紧的上界——不过这类上界都是依赖具体问题设定的，没有通用形式。

内容的提问来源于stack exchange，提问作者steve