测试集残差分析遇MemoryError：无法分配812GiB内存，如何解决？

错误原因 #

你遇到的内存错误核心是维度不匹配触发了数组广播：你用训练集的预测结果train_pred去减测试集标签y_test，若两者长度相同但其中一个是二维结构，会被强制广播成(330040, 330040)的巨型数组，直接耗尽内存。另外代码里存在笔误：col_formulae应为col_formula，会导致公式构建失败。

修复步骤 #

1. 修正预测数据集：残差分析需要用模型对测试集的预测值，而非训练集的，替换为X_test进行预测：

# 先修正笔误
col_formula = ' + '.join(X_train.columns)
formule = 'Purchase ~ ' + col_formula

result = smf.ols(formula=formule, data=df).fit()
result.summary2()

# 用测试集特征生成预测值
test_pred = result.predict(X_test)
resid = y_test - test_pred

2. 确保维度一致：如果y_test或test_pred是二维结构，先做扁平化处理：

resid = y_test.values.ravel() - test_pred.values.ravel()

3. 大数据集分批处理（可选）：若测试集规模极大，可分批次预测并计算残差：

import numpy as np

batch_size = 10000
resid = []
for i in range(0, len(X_test), batch_size):
    batch_X = X_test[i:i+batch_size]
    batch_pred = result.predict(batch_X)
    # 确保批次内标签和预测值维度匹配
    batch_resid = y_test.iloc[i:i+batch_size].values.ravel() - batch_pred.values.ravel()
    resid.extend(batch_resid)
resid = np.array(resid)

内容的提问来源于stack exchange，提问作者Harry Phantom