使用多进程计算StatsModels线性回归不同置信区间的问题

核心原因 #

StatsModels的拟合后模型（如OLSResults对象）在多进程间传递时，序列化（pickle）会丢失部分状态；或者直接传递绑定方法model.summary会导致参数绑定失效，最终子进程调用时始终使用默认的alpha=0.05（95%置信区间）。

解决方案 #

方案1：子进程内重新拟合模型（推荐） #

模型拟合过程通常耗时较短，且能彻底避免序列化问题，直接在每个子进程中独立加载数据、拟合模型并生成对应alpha的摘要：

import pandas as pd
import statsmodels.api as sm
from multiprocessing import Pool

def fit_and_get_summary(alpha):
    # 加载数据集并拟合模型
    data = pd.read_csv("salary_data.csv")
    X = sm.add_constant(data["YearsExperience"])
    y = data["Salary"]
    model = sm.OLS(y, X).fit()
    # 生成指定alpha的摘要
    return model.summary(alpha=alpha)

if __name__ == "__main__":
    alpha_list = [0.05, 0.04, 0.01]
    with Pool() as pool:
        summaries = pool.map(fit_and_get_summary, alpha_list)
    
    # 查看结果
    for alpha, summary in zip(alpha_list, summaries):
        conf_level = 100 * (1 - alpha)
        print(f"------ {conf_level}% 置信区间摘要 ------")
        print(summary)

方案2：使用包装函数传递模型（仅适用于序列化无问题的场景） #

如果必须复用已拟合的模型，需要用包装函数同时传递模型和alpha参数，避免直接传递绑定方法：

import statsmodels.api as sm
from multiprocessing import Pool

def summary_wrapper(args):
    model, alpha = args
    return model.summary(alpha=alpha)

if __name__ == "__main__":
    # 假设已提前拟合好模型model
    alpha_list = [0.05, 0.04, 0.01]
    # 构造参数元组列表
    params_list = [(model, alpha) for alpha in alpha_list]
    
    with Pool() as pool:
        summaries = pool.map(summary_wrapper, params_list)

注意：此方案可能因StatsModels版本或模型复杂度导致序列化失败，若出现报错，优先选择方案1。

内容的提问来源于stack exchange，提问作者Jackster