sklearn拟合模型出现MemoryError的原因与解决方法

• 核心触发点是多项式特征爆炸：你配置的PolynomialFeatures(degree=9)在34维原始特征输入下，会生成所有9阶以内的多项式组合特征，总特征数为组合数C(34+9,9)=350343565，和报错里提示的数组第二维度完全匹配。按float64精度计算，单条样本的特征就占约2.8G内存，交叉验证单折16-17条训练样本需要41-44G连续内存，刚好和报错里申请的内存大小一致。
• 内存泄漏+碎片累积导致运行到中途才报错：你在循环中直接将跑完训练的Pipeline实例存入DataFrame，DataFrame会持有这些对象的强引用，垃圾回收机制无法回收Pipeline上挂载的训练中间结果、临时数组、历史拟合属性，随着迭代次数增加，进程内被占用的内存越来越多，内存碎片持续累积，到8700次迭代左右已经找不到连续的40G以上内存块供大数组分配，就会触发内存错误。
• 你观察到的「对留存Pipeline调用clone()后仍报错、同会话新建Pipeline实例可正常运行」的现象完全符合上述逻辑：clone()仅复制模型参数，不会清理进程级的内存碎片；而新建实例时如果刚好有一块连续的空闲内存能满足大数组申请需求，就能临时跑通，但只要持续迭代造成内存碎片累积，后续依然会触发相同错误。
• 外层抛出的ValueError: All the 6 fits failed是sklearn交叉验证封装的通用报错提示，不是模型参数存在语法配置错误，真正的根因是折内拟合时的内存不足。

• 优先修正不合理的特征工程配置：34维特征搭配9阶多项式本身实用价值极低，不仅内存占用极高，还会在20个样本的小训练集上导致严重过拟合。如果需要用多项式特征，将阶数降到2-3即可（3阶下总特征数仅7770维，内存压力可以忽略）；如果确实需要高阶交互项，开启interaction_only=True跳过纯高次幂项，或者在多项式转换后增加方差筛选、正则化步骤过滤无效特征。
• 修复内存泄漏问题：不要将完整的Pipeline实例存入DataFrame，仅存储Pipeline的名称、参数字典等必要元信息即可。每次迭代结束后手动删除scores等临时训练对象，定期调用gc.collect()触发垃圾回收，减少内存碎片累积。
• 优化内存占用配置：如果必须使用高阶多项式，开启PolynomialFeatures(sparse_output=True)输出稀疏矩阵存储（高次多项式特征大部分为0，稀疏存储可降低90%以上内存占用），同时将数据精度转为float32，可直接将内存需求砍半。
• 调整交叉验证逻辑：20个样本拆分出6折、每折仅3个测试样本的配置统计效力极低，建议改用3-5折交叉验证，减少单折训练集的样本量波动，同时缓解小样本高维特征的过拟合问题。
• 迭代过程中不要复用预定义列表里的Pipeline对象，每次跑交叉验证前重新实例化全新的Pipeline，避免旧对象上挂载的历史拟合状态干扰后续训练。

内容的提问来源于stack exchange，提问作者Value_Investor