Bootstrap应用求助：Lasso与Ridge回归系数标准误计算咨询

你已经完成的最优λ筛选结果可以直接复用，不需要在bootstrap流程中重复做交叉验证，后续操作按以下步骤执行即可：

步骤1：明确bootstrap抽样规则 #

• 每次bootstrap抽样对原始数据集的样本行做有放回随机抽样，抽样的样本量和原始数据集完全一致
• 注意：每次抽样得到的独立数据集都要单独做X变量标准化，不能直接复用全数据集的标准化结果，保证预处理流程符合任务要求

步骤2：单次bootstrap执行逻辑 #

每次抽样完成后按以下流程处理：

1. 拆分抽样数据集为X（10个特征）和Y（prog标签列）
2. 对当前抽样集的所有X变量做标准化处理（均值为0、标准差为1）
3. 直接使用你之前全数据集交叉验证得到的固定最优λ，分别拟合Ridge和LASSO回归模型
4. 提取两个模型10个特征的系数估计值，存入对应的结果存储矩阵

步骤3：重复抽样并汇总计算标准误 #

• 初始化两个系数存储矩阵，维度均为1000行 × 10列，分别对应Ridge和LASSO的每次bootstrap系数结果
• 循环执行1000次步骤2的操作，将每次得到的系数写入对应矩阵的对应行
• 循环结束后，分别对两个存储矩阵的每一列计算标准差，得到的结果就是对应特征回归系数的bootstrap标准误（SE）

代码实现参考（Python为例） #

import numpy as np
from sklearn.utils import resample
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge, Lasso

# 替换为你之前交叉验证得到的最优λ
best_lambda_ridge = 你的Ridge最优λ值
best_lambda_lasso = 你的LASSO最优λ值
# 替换为你的原始未标准化特征矩阵、标签数组
X_raw = 原始10个特征的未标准化数组
y_raw = 原始prog标签数组

n_features = X_raw.shape[1]
n_bootstrap = 1000
# 初始化系数存储矩阵
ridge_coefs_boot = np.zeros((n_bootstrap, n_features))
lasso_coefs_boot = np.zeros((n_bootstrap, n_features))

for i in range(n_bootstrap):
    # 有放回抽样
    X_boot, y_boot = resample(X_raw, y_raw, replace=True, random_state=i)
    # 单独标准化当前抽样集的X
    scaler = StandardScaler()
    X_boot_scaled = scaler.fit_transform(X_boot)
    # 拟合Ridge并存储系数
    ridge = Ridge(alpha=best_lambda_ridge, fit_intercept=True)
    ridge.fit(X_boot_scaled, y_boot)
    ridge_coefs_boot[i,:] = ridge.coef_
    # 拟合LASSO并存储系数
    lasso = Lasso(alpha=best_lambda_lasso, fit_intercept=True)
    lasso.fit(X_boot_scaled, y_boot)
    lasso_coefs_boot[i,:] = lasso.coef_

# 计算每个系数的标准误（每列的标准差）
ridge_coef_se = np.std(ridge_coefs_boot, axis=0)
lasso_coef_se = np.std(lasso_coefs_boot, axis=0)

注意事项 #

• 不要在bootstrap过程中重新做交叉验证选λ，固定使用全数据集得到的最优λ即可，否则会引入额外变异导致SE估计偏大
• LASSO拟合中出现部分系数被压缩为0属于正常现象，计算标准差时直接包含0值即可

内容的提问来源于stack exchange，提问作者Maisaa