Python XGBoost分类器：脚本结束后CV信息延迟无法写入日志

问题原因 #

当使用n_jobs=-1启用多进程并行时，GridSearchCV的详细交叉验证日志由子进程输出：

• 在类Unix系统中，子进程通过fork创建，虽继承主进程的stdout，但输出会被缓冲，直到子进程结束才批量输出到控制台；
• 在Windows系统中，子进程通过spawn创建，会重新启动Python解释器，不会继承主进程的stdout重定向，输出直接指向控制台。
  这两种情况都会导致子进程的详细日志无法写入你重定向的cv.log文件，只有主进程输出的Fitting 3 folds...能被捕获。

解决方案 #

方案1：重定向stdout+stderr并启用行缓冲 #

同时重定向标准输出和标准错误流，启用行缓冲确保输出实时写入文件，适配类Unix系统的fork模式：

import sys
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
import xgboost as xgb

# 保存原始输出流
old_stdout = sys.stdout
old_stderr = sys.stderr

# 打开日志文件，启用行缓冲（buffering=1）
log_file = open("cv.log", "w", buffering=1)
sys.stdout = log_file
sys.stderr = log_file

X_train, y_train = make_classification(n_samples=2000)
params_str_dict = {"xgb__n_estimators": [10, 30], "xgb__max_depth": [50], "xgb__learning_rate": [0.5, 1], "xgb__objective": ["binary:logistic"]}
pipe = Pipeline(steps=[("xgb", xgb.XGBClassifier())])
model_GS = GridSearchCV(
    estimator=pipe,
    param_grid=params_str_dict,
    n_jobs=-1,
    cv=3,
    verbose=3,
).fit(X_train, y_train)

# 恢复原始输出流并关闭日志文件
sys.stdout = old_stdout
sys.stderr = old_stderr
log_file.close()

方案2：使用logging模块捕获所有输出（跨平台通用） #

通过logging模块统一捕获主进程和子进程的输出，同时写入文件和控制台，适配所有操作系统：

import logging
import sys
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
import xgboost as xgb

# 配置logging：同时写入文件和控制台
logging.basicConfig(
    level=logging.INFO,
    format="%(message)s",
    handlers=[
        logging.FileHandler("cv.log"),
        logging.StreamHandler(sys.stdout)
    ]
)

# 将sys.stdout和sys.stderr重定向到logging
class LoggerWriter:
    def __init__(self, log_level):
        self.log_level = log_level
    def write(self, msg):
        if msg.strip():
            self.log_level(msg.strip())
    def flush(self):
        pass

sys.stdout = LoggerWriter(logging.info)
sys.stderr = LoggerWriter(logging.warning)

# 执行GridSearchCV
X_train, y_train = make_classification(n_samples=2000)
params_str_dict = {"xgb__n_estimators": [10, 30], "xgb__max_depth": [50], "xgb__learning_rate": [0.5, 1], "xgb__objective": ["binary:logistic"]}
pipe = Pipeline(steps=[("xgb", xgb.XGBClassifier())])
model_GS = GridSearchCV(
    estimator=pipe,
    param_grid=params_str_dict,
    n_jobs=-1,
    cv=3,
    verbose=3,
).fit(X_train, y_train)

# 恢复原始输出流
sys.stdout = sys.__stdout__
sys.stderr = sys.__stderr__

方案3：禁用多进程（仅测试用） #

如果不需要并行加速，可以将n_jobs=1，此时所有日志都由主进程输出，能直接写入重定向的文件，但训练速度会变慢：

model_GS = GridSearchCV(
    estimator=pipe,
    param_grid=params_str_dict,
    n_jobs=1,  # 禁用多进程
    cv=3,
    verbose=3,
).fit(X_train, y_train)

内容的提问来源于stack exchange，提问作者Paweł