有限样本量偏差的KL散度校正方法及Miller-Madow实现咨询

问题本质 #

从参考分布R中抽取不同规模的样本得到经验分布P，计算D(P||R)时小样本结果偏大，核心原因是有限样本的频率估计偏差：小样本下经验频率无法精准匹配R的真实概率，这种误差在KL散度的对数运算中被放大，导致估计值系统性偏高。

校正方法与实现 #

1. Miller-Madow 校正的正确应用 #

Miller-Madow原本用于熵的偏差校正，可直接迁移到KL散度上——因为KL散度可拆解为交叉熵与熵的差：D(P||R) = H(P,R) - H(P)。

针对样本量为m、类别数（或分箱数）为k的场景，校正步骤如下：

• 计算原始KL散度估计：D_hat = sum(p_i * log(p_i / r_i))，其中p_i是样本中第i类的经验频率，r_i是R中第i类的真实概率
• 引入Miller-Madow校正项：(k-1)/(2m)
• 校正后的KL散度：D_corrected = D_hat - (k-1)/(2m)

原理：当样本来自R时，原始KL散度估计的期望为(k-1)/(2m)（系统性正偏差），减去该校正项后，期望将趋近于真实值0。

2. Jackknife 重采样校正 #

如果对Miller-Madow的假设（如类别数固定）存疑，可采用Jackknife方法消除偏差：

• 从原始m个样本中，依次移除单个样本，生成m个样本量为m-1的子样本
• 计算每个子样本的KL散度估计D_i
• 校正值为：m*D_hat - (m-1)*mean(D_i)，其中D_hat是全样本的KL散度估计

3. Bootstrap 估计不确定性 #

若无法完全消除偏差，可通过Bootstrap量化小样本带来的不确定性：

• 从原始样本中有放回重复抽样m次，生成B个Bootstrap样本（B建议取1000-5000）
• 计算每个Bootstrap样本的KL散度D_b
• 基于D_b的分布，计算均值、标准差，以及2.5%/97.5%分位数作为95%置信区间，以此反映估计的波动范围

关键注意事项 #

• 连续分布需先分箱转为离散类别，分箱数k的选择会影响校正效果，可采用Scott准则或Freedman-Diaconis准则确定分箱数
• Miller-Madow仅适用于离散/分箱后的分布，针对连续分布的核密度KL估计，需使用专门的非参数偏差校正方法
• 当样本量远小于类别数（m << k）时，校正效果有限，此时Bootstrap的不确定性参考价值更高

内容的提问来源于stack exchange，提问作者ridul