统计学习理论中互信息与假设类子集覆盖数的关联问题咨询

这是一个关于统计学习理论的问题。考虑由实向量 $w \in \mathbb{R}^p$ 参数化的假设类 $\mathcal{F}$。假设我们有一个数据分布 $D \sim \mu$，以及一个学习算法 $P_{\mathcal{F}|D}$。如果有帮助的话，我们可以假设 $\mu$ 满足等周集中性/具有次高斯尾（即对于Lipschitz函数 $g$，$g(X)$ 和 $E[g(X)]$ 在 $\mu$ 下以高概率接近）。

我们可以将它们结合起来得到假设类上的分布 $P_{\mathcal{F}}(f) = E_{\mu}[P_{\mathcal{F}|D}(f)]$。每个假设 $f_w$ 由 $w \in \mathbb{R}^p$ 参数化。然后我们可以定义集合：
$$\mathcal{F}m = { f \in \mathcal{F} : P{\mathcal{F}}(f) \ge 1 - \delta }$$
其中 $\delta$ 是一个小量，或者等价地，基于参数化定义：
$$\mathcal{W}m = { w \in \mathbb{R}^p : P{\mathcal{F}}(f_w) \ge 1 - \delta }$$
这是在分布 $P_{\mathcal{F}}$ 下概率较高的假设集合。我想知道如何将这个集合的覆盖数与分布 $\mu$ 和 $P_{\mathcal{F}|D}$（其中 $D \sim \mu$）之间的互信息联系起来。是否存在已知的关于 $W_m$（进而 $\mathcal{F}m$）的覆盖数与互信息 $D{KL}(\mu; P_{\mathcal{F}})$ 之间的关系？如果没有，从哪里开始推导这样的关系会比较合适？

目前我有两个思路：

• 尝试应用Fano不等式，将学习算法视为一个噪声信道，其方差大致完全来自于采样 $D \sim \mu$——这是我所知的唯一能将集合大小与互信息联系起来的界。
• 利用 $\mu$ 的集中性，论证 $\mathcal{F}m$ 中的所有元素都“接近” $E{P_{\mathcal{F}}}[f]$，再结合已知的界 $E_{P_{\mathcal{F}}}[f] < I(D; \mathcal{F})$。这里的“接近”是基于参数化函数的 $\mathbb{R}^p$ 欧几里得度量。如果能简化问题的话，我们可以假设所有相关内容都是Lipschitz的。

哪怕是了解互信息与上述函数集合的复杂度/维度的其他度量之间的关系，我也会很感兴趣。

备注：内容来源于stack exchange，提问作者Tanishq Kumar