关于接受-拒绝采样能否用于难处理后验分布采样的技术疑问

我有点搞不懂接受-拒绝采样能不能用来从难处理的后验分布$f(x) = P(\theta | x)$中采样。

给定后验分布$P(\theta | x) = \frac{P(x | \theta)P(\theta)}{\int P(x | \theta)P(\theta)}$，很多情况下分母的积分是难处理的。因为我们算不出这个积分，也就没法计算特定$\theta$和$x$对应的概率。

在MCMC方法里，这个问题是通过接受准则抵消掉分母来解决的。但在接受-拒绝采样中，接受准则是$u < \frac{f(x)}{Cg(x)}$，其中$g(x)$是提议函数，$C$是确保$f(x) < Cg(x)$的缩放常数（$u \sim \operatorname{Uniform}(0, 1)$）。

这看起来要求我们必须能计算$f(x)$，也就是需要后验分布是可处理的。但我又看到资料说接受-拒绝采样可以用于难处理的分布，这让我很困惑。

解答 #

其实这里的核心关键点是：接受-拒绝采样只需要能计算$f(x)$的相对比例，而不需要知道它的绝对归一化数值——这刚好完美适配后验分布的场景！

你仔细想一下，后验分布$P(\theta|x)$和分子$P(x|\theta)P(\theta)$是严格成正比的，也就是$P(\theta|x) \propto P(x|\theta)P(\theta)$，而分母的积分（归一化常数$Z$）是一个不随$\theta$变化的固定值。基于这个性质，我们完全可以用未归一化的后验函数来做接受-拒绝采样：

• 第一步，我们不需要计算完整的$f(\theta)=P(\theta|x)$，只需要计算它的未归一化形式$h(\theta) = P(x|\theta)P(\theta)$就行，这部分通常是可以直接计算的（似然和先验都是我们定义的，一般都能求值）；
• 第二步，找一个容易采样的提议分布$g(\theta)$，再找到一个常数$C'$，使得$h(\theta) \leq C'g(\theta)$对所有$\theta$都成立；
• 第三步，把接受准则替换成$u < \frac{h(\theta)}{C'g(\theta)}$——这里的$C'$其实就是原来准则里的$C$乘以归一化常数$Z$，因为$\frac{f(\theta)}{Cg(\theta)} = \frac{h(\theta)/Z}{Cg(\theta)} = \frac{h(\theta)}{(CZ)g(\theta)}$，本质上和原准则完全等价，归一化常数被抵消掉了。

当然，这种方法也有局限性：

• 你得能找到合适的提议分布$g(\theta)$，如果$g(\theta)$和目标分布的形状差太远，$C'$会变得非常大，导致接受率极低，采样效率很差；
• $h(\theta)$的计算速度要足够快，不然哪怕接受率不错，整体采样成本也会很高。

如果满足不了这些条件，那MCMC类方法（比如Metropolis-Hastings）确实会是更实用的选择，但这并不意味着接受-拒绝采样不能处理难处理的后验分布哦。

备注：内容来源于stack exchange，提问作者Joseph