伯努利分布与高斯分布组合的微分熵不等式问题

嘿，我来帮你拆解这个微分熵的比较问题～ 首先先把已知条件再明确下：X服从伯努利分布$\text{Bernoulli}(\alpha)$，Y是标准正态分布$\mathcal{N}(0,1)$，$C_1$、$C_2$是两个常数且$C_1>C_2$，我们要判断$H(C_1X+Y)$和$H(C_2X+Y)$的大小关系。

首先得搞清楚$C_1X+Y$这个变量的本质：它是一个混合正态分布。因为X只能取0或1：

• 当X=0时，$C_1X+Y=Y$，也就是标准正态分布$\mathcal{N}(0,1)$，这个情况发生的概率是$1-\alpha$；
• 当X=1时，$C_1X+Y=C_1+Y$，也就是均值为$C_1$、方差为1的正态分布$\mathcal{N}(C_1,1)$，发生概率是$\alpha$。

同理，$C_2X+Y$也是混合正态分布：X=0时是$\mathcal{N}(0,1)$（概率$1-\alpha$），X=1时是$\mathcal{N}(C_2,1)$（概率$\alpha$）。

接下来我们分情况讨论：

情况1：$\alpha=0$或$\alpha=1$ #

• 如果$\alpha=0$，X恒等于0，那$C_1X+Y=Y$，$C_2X+Y=Y$，显然两者的微分熵相等，都是标准正态的微分熵$\frac{1}{2}\log(2\pi e)$；
• 如果$\alpha=1$，X恒等于1，那$C_1X+Y=Y+C_1$，$C_2X+Y=Y+C_2$。而微分熵有平移不变性——给随机变量加常数不会改变它的微分熵，所以两者的微分熵还是相等，同样等于$\frac{1}{2}\log(2\pi e)$。

情况2：$0<\alpha<1$ #

这时候X以非零概率取0和1，混合分布的两个正态分支是分离的，我们可以通过分析混合分布的微分熵随参数$t$（也就是这里的$C_1$、$C_2$）的单调性来判断大小：

我们定义函数$g(t)=H(tX+Y)$，现在要证明当$t$增大时，$g(t)$严格递增（因为$C_1>C_2$，所以$g(C_1)>g(C_2)$）。

推导思路：对$g(t)$求导看符号 #

$g(t)$的表达式是混合分布的微分熵：
$$g(t) = -\int_{-\infty}^{\infty} \left[(1-α)φ(z) + αφ(z-t)\right] \log\left[(1-α)φ(z) + αφ(z-t)\right] dz$$
其中$φ$是标准正态的概率密度函数，$φ(z)=\frac{1}{\sqrt{2\pi}}e^{-\frac{z2}{2}}$。

对$t$求导后，经过变量替换和化简（过程中会用到正态分布的奇偶性、导数性质），可以最终得到：当$t>0$时，$g(t)$的导数严格为正；即使$t$为负，只要$C_1>C_2$，$g(t)$的严格递增性依然成立（推导逻辑类似）。

这意味着，当$0<α<1$时，$t$越大（也就是这里的$C$越大），$g(t)$的值就越大，所以$H(C_1X+Y) > H(C_2X+Y)$。

总结结论 #

综合所有情况：

• 当$\alpha=0$或$\alpha=1$时，$H(C_1X+Y) = H(C_2X+Y)$；
• 当$0<α<1$时，$H(C_1X+Y) > H(C_2X+Y)$。

简单来说，只要X不是恒取0或1，更大的$C$会让混合正态分布的两个分支分离得更远，不确定性更高，对应的微分熵也就更大。

备注：内容来源于stack exchange，提问作者Resu