ElasticNet训练极慢，如何加速多参数训练并保存模型系数？

问题背景 #

使用sklearn训练ElasticNet模型，数据集含70k观测值与20个特征，通过遍历50个alpha值和10个l1_ratio值（共500组参数）获取对应模型系数，但单轮训练耗时约10分钟，整体速度极慢。GridSearchCV虽支持并行但无法保存每组参数的模型系数，需替代加速方案。

原代码：

alpha_plot, l1_ratio_plot = np.linspace(min_xlim, max_xlim, 50), np.linspace(0, 1, 10)
alpha_grid, l1_ratio_grid = np.meshgrid(alpha_plot, l1_ratio_plot)
l1_ratio_alpha_grid = np.array([l1_ratio_grid.ravel(), alpha_grid.ravel()]).T

model_coefficients_analysis = []

for i in l1_ratio_alpha_grid:
    
    model_analysis = ElasticNet(alpha=i[1], l1_ratio=i[0], fit_intercept=True, max_iter=10000).fit(self.features_train_std, self.labels_train)
    model_coefficients_analysis.append(model_analysis.coef_)

加速方案 #

1. 用joblib并行化循环 #

循环中每个模型训练相互独立，可通过joblib.Parallel实现多进程并行，达到类似GridSearchCV的n_jobs=-1加速效果，同时保留保存系数的逻辑。

示例代码：

from joblib import Parallel, delayed
import numpy as np
from sklearn.linear_model import ElasticNet

def train_elasticnet(params, X_train, y_train):
    l1_ratio, alpha = params
    model = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, fit_intercept=True, max_iter=10000)
    model.fit(X_train, y_train)
    return model.coef_

# 并行训练，n_jobs=-1使用所有可用核心，verbose可查看进度
model_coefficients_analysis = Parallel(n_jobs=-1, verbose=10)(
    delayed(train_elasticnet)(params, self.features_train_std, self.labels_train)
    for params in l1_ratio_alpha_grid
)

2. 使用enet_path批量计算系数路径 #

sklearn提供的enet_path方法可一次性计算多个alpha和l1_ratio对应的系数，内部通过共享计算步骤大幅提升效率，比逐个训练模型快得多。

示例代码：

from sklearn.linear_model import enet_path

coefs = []
for l1_ratio in l1_ratio_plot:
    # 计算当前l1_ratio下所有alpha对应的系数
    _, coef_path, _ = enet_path(
        X=self.features_train_std, 
        y=self.labels_train,
        l1_ratio=l1_ratio,
        alphas=alpha_plot,
        fit_intercept=True,
        max_iter=10000,
        verbose=0
    )
    # coef_path形状为(n_features, n_alphas)，转置后每个行对应一个alpha的系数
    coefs.extend(coef_path.T.tolist())

# 最终coefs的顺序与原循环一致：先遍历l1_ratio，再遍历alpha
model_coefficients_analysis = coefs

注：enet_path返回的coef_path是按传入的alpha顺序排列的，需与原代码的参数遍历顺序对应，避免系数与参数不匹配。

3. 优化模型训练参数 #

• 调大tol参数：默认tol=1e-4，若对精度要求不高，可改为1e-3或1e-2，让模型提前收敛，减少迭代次数。
• 调整max_iter：若大部分模型在远小于10000次迭代时就收敛，可适当降低max_iter值（比如设为5000），避免不必要的计算。

修改后的模型初始化示例：

model = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, fit_intercept=True, max_iter=5000, tol=1e-3)

内容的提问来源于stack exchange，提问作者NC520