SciPy bootstrap重采样数对耗时影响及提速方法咨询

问题背景 #

拥有规模约2^15条记录的大型数据集，使用scipy.stats.bootstrap计算均值置信区间时，默认n_resamples=9999耗时约6秒；但在大量数据集处理或测试绘图调试场景下，将重采样数降至n_resamples=10后，耗时并未按预期大幅减少（仍需约4秒）。同时设置batch=1时性能最优，更高batch值反而增加耗时。

测试代码如下：

import numpy as np
from scipy import stats
from time import perf_counter

data = np.random.rand(2**15)
data = np.array([data])

start = perf_counter()
bs = stats.bootstrap(data, np.mean, batch=1, n_resamples=9999)
end = perf_counter()
print(end-start)

start = perf_counter()
bs = stats.bootstrap(data, np.mean, batch=1, n_resamples=10)
end = perf_counter()
print(end-start)

start = perf_counter()
bs = stats.bootstrap(data, np.mean, n_resamples=10)
end = perf_counter()
print(end-start)

运行结果：

6.021066904067993
3.9989020824432373
30.46708607673645

优化方案 #

1. 调试场景优先用解析法替代Bootstrap #

如果只是测试绘图、不需要高精度置信区间，直接用t分布计算均值置信区间是最优选择，速度比Bootstrap快几个数量级，且大样本（2^15属于大样本）下精度足够：

import numpy as np
import scipy.stats as stats

data = np.random.rand(2**15)
mean = np.mean(data)
std_err = stats.sem(data)
# 95%置信区间
ci = stats.t.interval(confidence=0.95, df=len(data)-1, loc=mean, scale=std_err)

2. 优化SciPy Bootstrap的参数设置 #

• 保持batch=1：小数据量下，多进程的启动、数据传递开销远大于并行收益，单进程执行更快。
• 启用vectorized=True：由于np.mean支持向量化输入（对二维数组按轴计算），开启该参数后重采样样本会批量传入统计量函数，大幅减少循环调用开销：

  bs = stats.bootstrap(data, np.mean, batch=1, n_resamples=10, vectorized=True)
  

3. 手动实现轻量级Bootstrap（仅针对均值） #

SciPy的bootstrap是通用框架，支持复杂统计量和多组数据，额外开销较高。针对均值场景手动实现，能大幅降低耗时：

import numpy as np

def fast_bootstrap_mean(data, n_resamples=1000, confidence=0.95):
    n = len(data)
    # 一次性生成所有重采样样本
    resamples = np.random.choice(data, size=(n_resamples, n), replace=True)
    # 批量计算均值
    means = resamples.mean(axis=1)
    # 计算分位数得到置信区间
    lower = np.percentile(means, (1-confidence)/2 * 100)
    upper = np.percentile(means, (1+confidence)/2 * 100)
    return lower, upper, means

# 调用示例
data = np.random.rand(2**15)
lower, upper, resampled_means = fast_bootstrap_mean(data, n_resamples=10)

该实现跳过了SciPy中的参数校验、通用统计量适配等环节，测试下来n_resamples=10时耗时可降至0.1秒以内。

4. 升级SciPy版本 #

SciPy 1.10+版本对bootstrap模块做了性能优化，尤其是小重采样数场景下的固定初始化开销有所减少，升级到最新版本能获得一定性能提升。

内容的提问来源于stack exchange，提问作者Georg