如何将GridSearchCV并行任务输出重定向至日志？

当n_jobs>1时，GridSearchCV通过joblib启动多进程执行交叉验证，子进程的stdout/stderr是独立于主进程的，不会继承主进程中被替换的sys.stdout对象，因此[CV X/5]这类子进程输出的日志无法被主进程的logger捕获。

通过joblib的parallel_config配置子进程初始化函数，让每个子进程启动时自动重定向stdout/stderr到logger，从而捕获所有日志输出。

修改后的完整代码：

import xgboost as xgb
from sklearn.model_selection import GridSearchCV
import numpy as np
import logging
import sys
from joblib import parallel_config

class StreamToLogger(object):
    def __init__(self, logger, level):
       self.logger = logger
       self.level = level
       self.linebuf = ''

    def write(self, buf):
       for line in buf.rstrip().splitlines():
          self.logger.log(self.level, line.rstrip())

    def flush(self):
        pass

def init_worker(log_level):
    """子进程初始化函数：重定向stdout/stderr到logger"""
    logger = logging.getLogger('sklearn.model_selection._search')
    sys.stdout = StreamToLogger(logger, logging.INFO)
    sys.stderr = StreamToLogger(logger, logging.ERROR)
    # 确保子进程的日志配置正确
    logging.basicConfig(
        level=log_level,
        format='[%(asctime)s] [%(levelname)s] %(message)s',
        filename='grid_search.log',
        filemode='a'
    )

if __name__ == "__main__":
    # 主进程日志配置：直接写入文件
    logging.basicConfig(
        level=logging.INFO,
        format='[%(asctime)s] [%(levelname)s] %(message)s',
        filename='grid_search.log',
        filemode='a'
    )
    logger = logging.getLogger('sklearn.model_selection._search')

    # 主进程重定向stdout/stderr
    sys.stdout = StreamToLogger(logger, logging.INFO)
    sys.stderr = StreamToLogger(logger, logging.ERROR)

    # 生成测试数据
    X = np.random.randn(100,2)
    y = np.random.randn(100)

    # 定义模型和参数网格
    reg = xgb.XGBRegressor(max_depth=10, n_estimators=100)
    param_grid = {"gamma": [0.1, 0.2]}

    # 配置子进程初始化，执行GridSearchCV
    with parallel_config(initializer=init_worker, initargs=(logging.INFO,)):
        gs = GridSearchCV(reg, param_grid, cv=5, verbose=3, n_jobs=2)
        gs.fit(X, y)

1. 子进程初始化：init_worker函数会在每个子进程启动时执行，确保子进程的输出也被重定向到同一个日志文件。
2. 日志文件配置：直接在logging.basicConfig中指定filename，避免依赖控制台输出；若担心进程终止时日志未写入，可在StreamToLogger的write方法中添加手动flush逻辑，或使用带flush=True参数的FileHandler。
3. 多进程日志安全：如果日志写入出现冲突，可使用logging.handlers.RotatingFileHandler或QueueHandler/QueueListener实现进程安全的日志写入。

内容的提问来源于stack exchange，提问作者user7431005