乘积空间中亚线性相对熵的含义及相关推论技术问询

咱们先从最基础的独立同分布（iid）场景入手：考虑独立同分布的随机向量 $X \in [k]^n$，其分布 $p \in \mathcal{P}([k])$ 是完全支撑的；同理 $Y \in [k]^n$ 也是独立同分布，分布 $q \in \mathcal{P}([k])$ 同样完全支撑，这里 $k>1$，$[k] = {1,\dots,k}$。用 $D(X|Y)$ 表示 $X$ 相对于 $Y$ 的相对熵。

有这么一个经典结论：

$\lim_{n\rightarrow\infty}\frac{1}{n}D(X|Y)=0$ 当且仅当 $p=q$，也等价于 $X$ 和 $Y$ 分布相同。

这个结论的证明很直接：只要回忆相对熵的可加性——因为变量独立，$D(X|Y)=\sum_iD(X_i|Y_i)=nD(X_1|Y_1)$，所以归一化后的相对熵趋于0，当且仅当单变量的相对熵为0，也就是 $p=q$。

但如果咱们放宽条件：$X$ 依然是独立同分布服从 $p$，但 $Y$ 可以是 $[k]^n$ 中的任意随机向量，那刚才的结论就不成立了——完全可能出现 $\lim_{n\rightarrow\infty}\frac{1}{n}D(X|Y)=0$，但 $X$ 和 $Y$ 分布完全不同的情况。

核心问题 #

那现在的关键问题是：从 $\lim_{n\rightarrow\infty}\frac{1}{n}D(X|Y)=0$ 这个条件，咱们能推出哪些有用的结论？

目前我能想到的几个推论：

• 首先能直接推出 $Y$ 是完全支撑的，不然相对熵根本无法取有限值。
• 这还能导出总变差距离满足 $\mathrm d_{\mathrm{tv}}(X,Y)<1$，当然也能构造出 $X$ 和 $Y$ 的一个耦合，但这种耦合通常没什么实际分析价值。
• 我个人觉得这个条件还不足以推出像**相邻性（contiguity）**这类强性质，但会不会能得到一些别的结果？比如相对频率的集中性、点概率的界，或者有界变量数上的边际分布相似性？

另外，还有一个反向问题：要是 $\liminf_{n\rightarrow\infty}\frac{1}{n}D(X|Y)>0$，又能推出什么结论呢？

如果加上一些温和的假设，比如存在绝对常数 $0<c<C<1$，使得对所有 $y \in [k]^n$ 都有 $c^n\le\mathbb P(Y=y)\le C^n$，那相关的推论会不会更具体、更丰富？

备注：内容来源于stack exchange，提问作者Matija