Optuna设置n_jobs=-1时结果无法复现，求兼顾效率与可重复性的方案

当Optuna使用n_jobs=-1多进程优化时，仅固定TPESampler的seed无法保证结果复现，原因包括：进程调度顺序的随机性、子进程继承父进程被污染的随机状态、目标函数内部未固定随机种子等。以下是可行的解决办法：

1. 固定全局所有随机源的种子 #

在代码开头或每次创建study前，重置Python标准库、NumPy等依赖库的随机种子，避免子进程继承不一致的随机状态：

import random
import numpy as np
import optuna

# 固定全局随机种子
random.seed(10)
np.random.seed(10)

2. 强制使用spawn进程启动模式 #

Unix系统默认的fork模式会继承父进程的随机状态，改用spawn模式让每个子进程从头初始化，消除继承带来的随机性：

import multiprocessing
multiprocessing.set_start_method('spawn')

注意：spawn模式启动速度略慢，但能更好地保证确定性。

3. 封装study运行逻辑，每次重置状态 #

将创建study和优化的逻辑封装成函数，每次调用前重置全局种子，确保两次study的初始化环境完全一致：

def objective(trial):
    # 你的目标函数实现，注意内部如果有随机操作也要固定种子
    x = trial.suggest_float("x", -10, 10)
    return x ** 2  # 示例，若有随机逻辑需同步固定种子

def run_deterministic_study():
    # 每次运行前重置所有随机种子
    random.seed(10)
    np.random.seed(10)
    # 创建带固定seed的采样器
    sampler = optuna.samplers.TPESampler(seed=10)
    study = optuna.create_study(direction="maximize", sampler=sampler)
    study.optimize(objective, n_trials=5, n_jobs=-1)
    return study

# 运行两次study
study1 = run_deterministic_study()
study2 = run_deterministic_study()

关键注意事项 #

• 若目标函数内部使用了随机数生成（比如数据增强、模型初始化等），必须在函数内部也固定对应库的种子，否则即使采样参数一致，目标函数输出也会不同。
• 避免在创建study前执行任何会生成随机数的操作，防止父进程随机状态被污染。

内容的提问来源于stack exchange，提问作者aurfa