scikit-learn下AdaBoost回归器预测时RAM耗尽崩溃的原因排查

• scikit-learn旧版本的Predict实现逻辑缺陷

1. 1.0.x及更早版本的scikit-learn中，AdaBoostRegressor.predict收集基学习器预测结果时，未采用预分配固定大小二维数组的方案，而是逐次执行数组拼接操作生成存储矩阵：每完成1棵决策树的预测，就拼接生成包含当前所有树预测结果的新数组，旧数组要等到下一轮循环才会被垃圾回收。
2. 结合你的参数计算：测试集规模为总样本的20%即40万条样本，n_estimators=500，float64格式下单样本单树的预测值占8字节，逐次拼接的实现会让内存占用随树的数量线性攀升，仅这部分拼接过程的内存峰值就接近3.2GB，叠加数据集本身、Python运行时、已训练模型的基础占用，很容易触发RAM耗尽。
3. 即便是较新版本的scikit-learn，predict阶段也会预分配一个形状为(测试集样本数, 基学习器数量)的全量临时矩阵，按上述参数计算单这部分就占1.5GB以上，若机器可用内存不足4GB，本身就存在内存溢出风险。

• 测试集的内存转换额外开销

1. 你的所有特征均为整数类型，如果输入模型的X_test未被处理为连续内存存储的C-order NumPy数组（例如保留为Pandas Object类型、非连续切片数组、分布式内存数组），scikit-learn会在predict前为满足底层C实现的内存访问要求，生成一份全量的类型转换与内存拷贝副本。
2. 若特征以Object类型存储整数值，单元素的指针占位远高于原生整数类型，40万样本的单份拷贝就可能占用数百MB甚至上GB的额外内存。

• Score函数的内存叠加效应

1. score方法执行时，除了需要复用predict阶段的所有临时数组内存，还会为计算R²指标，生成真实值、预测值逐元素运算的临时数组，额外叠加数十到上百MB的内存占用。
2. 若在predict执行后立即调用score，前序predict生成的临时数组未被及时垃圾回收，会和score的临时内存叠加，进一步推高内存峰值。

• 无优化的权重计算放大内存占用

1. AdaBoost回归的预测加权计算过程中，若没有采用原地运算优化，会对预分配的全量预测矩阵执行乘权重、聚合操作时生成同大小的临时副本，直接让临时矩阵的内存占用翻倍。
2. 当loss='square'时，加权平均的计算过程虽不存在复杂排序开销，但仍需遍历全量临时矩阵，缺少分块处理机制时会直接把全量矩阵保留在内存中。

内容的提问来源于stack exchange，提问作者The Matoder