KL散度对称极值探究：最大化KL(X,Y)的X是否也最大化KL(Y,X)

核心结论 #

KL散度的非对称性直接决定了：使KL(X,Y)取最大值的分布X，无法让KL(Y,X)也达到最大值**，哪怕是二元变量Y搭配多维离散X的场景，这个结论依然成立。

理论推导与分析 #

KL散度的定义为：
$$KL(P,Q) = \sum_i P(i)\ln\frac{P(i)}{Q(i)}$$

对于固定的Y分布，最大化KL(X,Y)的核心是让X尽可能偏离Y。以二元Y~(q, 1-q)（对应你例子中贷款获批概率q=0.1）为例：

• 对X~(p,1-p)求KL(X,Y)的极值，会发现这个函数是凸函数，最大值出现在边界点：当p=1时，$KL(X,Y)=1\cdot\ln(1/0.1)=\ln10≈2.302$；当p=0时，$KL(X,Y)=1\cdot\ln(1/0.9)≈0.105$。因此最大化KL(X,Y)的X*是退化分布(1,0)（即所有样本都获批贷款）。

而最大化KL(Y,X)的目标是让Y尽可能偏离X，此时最优解是让X尽可能往Y的反方向走：比如取X=(0,1)（所有样本都不获批），此时$KL(Y,X)=0.1\cdot\ln(0.1/0)+0.9\cdot\ln(0.9/1)$，第一项为正无穷，这是KL(Y,X)的最大值——显然和X*=(1,0)完全不同。

针对你例子的验证 #

你例子中的白人男性(WM)分布是(0.2, 0.8)，它并非最大化KL(X,Y)的X*（因为X=(1,0)时KL(X,Y)更大）。同时，确实存在其他X能让KL(Y,X)取得更大值：

• 比如取X=(0,1)，KL(Y,X)会趋近于正无穷，远大于你计算的$KL(Y,WM)≈0.192$。
• 这说明WM分布既不是KL(X,Y)的最大值点，也不是KL(Y,X)的最大值点。

内容的提问来源于stack exchange，提问作者Eruditio