Bootstrap样本均值的偏差方差特征及估计量性质、方差对比问询

我来一步步拆解你的问题，尽量用直观的解释代替生硬的公式，这样更容易理解：

首先得抓住Bootstrap的核心：我们把手里的原始样本当作「经验总体」，所有Bootstrap样本都是从这个经验总体里有放回抽出来的。

• 偏差层面：单个Bootstrap样本的均值$\bar{x}_b$，对于经验总体的均值（也就是原始样本的均值$\bar{x}_n$）是无偏的——因为有放回抽样时，每个原始观测被选中的概率都是$1/n$，算下来Bootstrap均值的期望正好等于原始样本均值。如果用它估计真实总体均值$\mu$，那偏差和原始样本均值完全一致：因为原始样本均值本身是$\mu$的无偏估计，所以Bootstrap均值也是$\mu$的无偏估计（把两层期望展开就能验证这一点）。
• 方差层面：单个Bootstrap样本均值的方差会比原始样本均值的方差略小一点。具体来说，原始样本均值的方差是$\frac{\sigma^{2}{n}$（$\sigma}2$是真实总体方差），而Bootstrap样本均值的方差是$\frac{s_n^2}{n} \times \frac{n-1}{n}$（$s_n^2$是原始样本的无偏方差，即除以$n-1$的那种）。当样本量$n$很大时，$\frac{n-1}{n}$趋近于1，两者的差异基本可以忽略。

另外，如果我们用成百上千个Bootstrap样本的均值来做估计，它的偏差依然为0（无偏），方差会随着Bootstrap样本数量的增加而不断减小——这和普通样本的大数定律逻辑一致，样本越多，估计结果越稳定。

为啥要用有放回抽样？ #

这是Bootstrap能发挥作用的核心：

• 最关键的一点：能生成多个不同的样本。如果用无放回抽样，从大小为$n$的原始样本里抽$n$个观测，只能得到原始样本本身，根本没法构建多个不同的Bootstrap样本来估计统计量的分布——这就失去了Bootstrap的意义。
• 其次，有放回抽样更贴近「从无限总体抽样」的场景（真实研究中我们常假设总体是无限的，或者样本占总体比例极小），数学推导也更简洁，更容易分析统计量的性质。

Bootstrap样本均值是无偏或一致估计量吗？ #

• 无偏性：是的，针对真实总体均值$\mu$，它是无偏估计量。因为原始样本均值$\bar{x}_n$是$\mu$的无偏估计，而Bootstrap样本均值的期望等于$\bar{x}_n$的期望，最终结果就是等于$\mu$。
• 一致性：它也是一致估计量。当原始样本量$n$趋近于无穷时，原始样本均值$\bar{x}_n$会依概率收敛到$\mu$；同时，给定原始样本，Bootstrap样本均值也会依概率收敛到$\bar{x}_n$（Bootstrap版本的大数定律）。结合这两点，Bootstrap样本均值最终会收敛到$\mu$，满足一致性的要求。

Bootstrap样本均值的方差和随机样本的方差对比？ #

单个Bootstrap样本均值的方差是$\frac{s_n^2}{n} \times \frac{n-1}{n}$，而原始随机样本均值的方差是$\frac{\sigma^{2}{n}$。如果用$s_n}2$估计$\sigma^2$，那么Bootstrap样本均值的方差比原始样本均值的估计方差小$\frac{1}{n}$倍。当$n$很大时，这个差异可以忽略；但当$n$较小时，这个差距会稍微明显一点。

内容的提问来源于stack exchange，提问作者denizen of the north