如何为scikit-learn中n_jobs启动的并行进程设置低优先级？

在Windows系统下使用scikit-learn的n_jobs参数（如GridSearchCV）并行计算时，要让所有并行进程以低于正常优先级运行，你之前尝试的修改父进程优先级的方法存在不稳定问题——原因是scikit-learn默认的joblib-loky后端在创建子进程时可能重置优先级，导致部分进程无法继承父进程的低优先级。以下是更可靠的实现方式：

原方法的问题 #

修改父进程优先级的思路依赖子进程继承优先级，但loky后端为了隔离子进程环境，会在启动时重置部分进程属性，导致部分子进程无法继承低优先级，出现不稳定的情况。此外，修改父进程（如Jupyter内核）的优先级会影响交互响应，甚至在停止内核时出现异常。

可靠实现：子进程启动后主动设置优先级 #

我们可以通过joblib的初始化钩子，让每个子进程启动后立即修改自身优先级，确保所有并行进程都能生效：

1. 定义优先级设置函数 #

import psutil

def set_below_normal_priority():
    """子进程启动后将自身设置为低于正常优先级"""
    proc = psutil.Process()
    proc.nice(psutil.BELOW_NORMAL_PRIORITY_CLASS)

2. 配置GridSearchCV使用自定义并行设置 #

直接在GridSearchCV中指定并行后端的初始化参数，或者用上下文管理器全局配置：

方式一：直接配置GridSearchCV

from sklearn.datasets import load_digits
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

# 加载数据集
X, y = load_digits(return_X_y=True)

# 定义模型与参数网格
rf = RandomForestClassifier(n_jobs=-1)
param_grid = {
    'max_depth': range(5, 20),
    'min_samples_split': range(2, 10)
}

# 初始化GridSearchCV，指定并行后端的初始化函数
grid_search = GridSearchCV(
    rf,
    param_grid,
    n_jobs=-1,
    backend='loky',
    init_args={'init': set_below_normal_priority},
    verbose=1
)

grid_search.fit(X, y)

方式二：用上下文管理器全局配置

如果你有多个并行任务，用上下文管理器可以避免重复配置：

from joblib import parallel_backend

with parallel_backend('loky', init_args={'init': set_below_normal_priority}):
    grid_search.fit(X, y)

关键优势 #

• 稳定性：每个子进程启动后主动修改自身优先级，不依赖父进程继承，确保所有并行进程都能设置为低于正常优先级。
• 无父进程影响：仅修改子进程优先级，Jupyter内核等父进程保持原优先级，不会影响交互响应或内核停止操作。
• Windows适配：psutil.BELOW_NORMAL_PRIORITY_CLASS是Windows专属的优先级类，完美适配你的系统环境。

验证方法 #

运行代码后，打开任务管理器→详细信息，查看所有由该任务启动的python.exe/pythonw.exe进程，其优先级列应显示为「低于正常」。

内容的提问来源于stack exchange，提问作者Grendel13G