关于条件平滑最小熵不等式$H_{min}^{\epsilon}(XY|K) \geq H_{min}^{\epsilon}(X|K)$的证明问询
关于条件平滑最小熵不等式$H_{min}^{\epsilon}(XY|K) \geq H_{min}^{\epsilon}(X|K)$的证明问询
各位大佬好!我最近在啃条件平滑最小熵的一个不等式证明,卡壳了想请教大家:我要证的是$H_{min}^{\epsilon}(XY|K) \geq H_{min}^{\epsilon}(X|K)$这个式子。
我先是从更简单的非平滑最小熵入手尝试推导,先理清楚基础定义:
- 非平滑条件最小熵$H_{min}(X|K) = -\log(p_{max}{(x)})$,其中$p_{max}{(x)} = \max_{x,k} P_{x|k}(x|k)$
- 对应的,$H_{min}(XY|K) = -\log(p_{max}{(xy)})$,其中$p_{max}{(xy)} = \max_{x,y,k} P_{x,y|k}(x,y|k)$
然后我们知道,边缘分布可以表示成联合分布的求和:
$$P_{x|k}(x|k) = \sum_y P_{x,y|k}(x,y|k)$$
因为概率都是非负的,所以求和里的每一项$P_{x,y|k}(x,y|k)$都不会超过整个求和的结果$P_{x|k}(x|k)$。这样一来,显然有$\max_{x,y,k}P_{x,y|k}(x,y|k) \leq \max_{x,k}P_{x|k}(x|k)$,也就是$p_{max}^{(xy)} \leq p_{max}^{(x)}$。
取负对数之后,因为负对数是单调递减函数,所以$-\log(p_{max}^{(xy)}) \geq -\log(p_{max}^{(x)})$,这就轻松得到了非平滑情况下的不等式$H_{min}(XY|K) \geq H_{min}(X|K)$。
但是到了带$\epsilon$的平滑最小熵这里,我就摸不着头脑了——不知道该怎么把$\epsilon$-平滑的约束整合到证明里,也不清楚怎么把非平滑的结论推广过来。有没有大佬能指点一下思路,或者给个完整的证明步骤呀?
备注:内容来源于stack exchange,提问作者SemLavy
相关产品推荐
相关产品推荐

