scikit-learn LinearRegression多核心运行异常问题排查

关键问题点 #

1. parallel_backend上下文管理器无效且多余 #

sklearn的LinearRegression不依赖joblib的并行后端，它的n_jobs参数是内部实现多目标并行的，添加parallel_backend上下文不仅不会提升并行效率，反而可能造成资源调度冲突，直接移除即可。

2. 线程环境变量设置错误 #

你将OMP_NUM_THREADS等线程变量设为5，但LinearRegression的多目标并行是多进程模式（每个目标对应一个进程），每个进程内部的线性代数运算（如矩阵分解）默认会启用多线程。这种多进程+多线程的叠加会导致CPU上下文切换频繁，操作系统可能会限制核心使用。正确做法是将这些线程变量设为1，让每个并行进程只用单线程，避免资源竞争：

for env_var in ["OMP_NUM_THREADS", "OPENBLAS_NUM_THREADS", "MKL_NUM_THREADS", "VECLIB_MAXIMUM_THREADS", "NUMEXPR_NUM_THREADS"]:
    os.environ[env_var] = "1"

3. 对n_jobs参数的理解有误 #

sklearn文档明确说明，LinearRegression的n_jobs是并行处理目标的进程数，当目标数（你这里是2）小于n_jobs（你设的5）时，实际只会用到与目标数相等的核心数，不可能用到5个核心。这是你预期与实际不符的核心原因。

4. 任务量过小 #

当前数据集（10000样本、5000特征）的计算量不足以支撑多进程的启动开销，系统可能直接用单进程完成计算，导致只有1个核心高负载。

修改后的核心代码 #

# 先设置单线程环境，避免多线程干扰
for env_var in ["OMP_NUM_THREADS", "OPENBLAS_NUM_THREADS", "MKL_NUM_THREADS", "VECLIB_MAXIMUM_THREADS", "NUMEXPR_NUM_THREADS"]:
    os.environ[env_var] = "1"

# 导入库...

def run_lr_program():
    # 增大数据集规模，让计算任务足够重
    X, Y = create_data(42, 200000, 10000, 5000)
    X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.33)

    # 直接使用n_jobs，无需parallel_backend
    # 因为只有2个目标，n_jobs设为2即可（设更大值也只会用到2个核心）
    reg = linear_model.LinearRegression(n_jobs=2)
    reg.fit(X_train, Y_train)

    # 后续预测、评估代码不变...

预期效果 #

修改后，CPU监控应显示2个核心处于高利用率状态（与目标数一致），若要用到更多核心，需要增加目标变量的数量（比如设置5个及以上目标），同时确保数据集规模足够大。

内容的提问来源于stack exchange，提问作者Arjun V. Arun