如何使用蒙特卡洛方法从密度核估算概率分布的均值与方差

我们针对已知未归一化概率密度核、需要估计对应分布均值和方差的场景，可采用的蒙特卡洛方法如下：

• 拒绝采样（Rejection Sampling）
  选择一个易于采样的提议分布$q(x)$，找到常数$M$满足对所有定义域内的$x$都有$p^(x) \leq M q(x)$。循环执行以下步骤采样：1. 从$q(x)$中采样得到候选样本$x$；2. 从均匀分布$U(0,1)$中采样得到$u$；3. 若满足$u < \frac{p^(x)}{M q(x)}$则接受该样本，否则丢弃。
  收集足够多的有效样本后，直接计算样本均值和样本方差即可得到目标估计值。该方法实现简单，有效样本独立同分布，但高维场景下接受率会极低，实用价值有限。
• 重要性采样（Importance Sampling）
  同样选择支撑集覆盖目标分布支撑集的提议分布$q(x)$，对所有从$q(x)$采样得到的样本$x_i$，计算重要性权重$w_i = \frac{p^*(x_i)}{q(x_i)}$。均值的无偏估计为$\hat{\mu} = \frac{\sum_{i=1}^N w_i x_i}{\sum_{i=1}^N w_i}$，方差的估计为$\hat{\sigma}^2 = \frac{\sum_{i=1}^N w_i x_i^{2}{\sum_{i=1}}N w_i} - \hat{\mu}^2$。
  该方法无需丢弃样本，采样效率高于拒绝采样，但如果提议分布和目标分布差异较大，权重方差会极高，导致估计结果偏差显著。
• 马尔可夫链蒙特卡洛（MCMC）类方法
  最常用的包括Metropolis-Hastings算法、吉布斯采样（适用于可拆分条件分布的多维场景）。核心思路是构造一个平稳分布恰好为目标分布的马尔可夫链，等待链收敛到平稳分布后，采集到的样本即可近似看作服从目标分布的样本，用这些样本计算样本均值和样本方差即可。
  该方法在高维场景下的表现远优于前两种方法，无需匹配全局的提议分布上界，是目前复杂分布估计的主流方案。使用时需要注意判断链的收敛性，且样本间存在自相关性，需要保证足够的采样量，必要时可采用抽稀策略降低自相关影响。
• 退火重要性采样（Annealed Importance Sampling）
  针对目标分布存在多峰、普通MCMC或重要性采样容易陷入局部峰值的场景，该方法通过构造一系列从简单分布（如正态分布）逐步过渡到目标分布的退火序列，采样得到的样本权重方差更小，估计结果更稳定。

内容的提问来源于stack exchange，提问作者Tough Guy