大CSV数据集总大小超内存无法全加载时如何训练机器学习模型

以下方案按实现成本从低到高排序，适配Scikit-Learn、TensorFlow、PyTorch三类框架，覆盖SVR等非深度学习模型的训练需求：

1 流式分批加载+核外训练 #

这是改造成本最低的方案，不需要额外依赖，核心逻辑是永远不把全量数据加载到内存，每次只读取当前训练步骤需要的批量数据。

• Scikit-Learn适配：
  所有带partial_fit()接口的模型都原生支持核外训练，包括LinearSVR、SGD系列分类/回归器、增量版PCA/StandardScaler等。注意原生带非线性核的SVR不支持该接口，需要配合后面提到的核近似方法使用。
  读取数据时直接用pandas的read_csv()接口，传入chunksize参数指定每次读取的样本行数，会返回一个可迭代的DataFrame块遍历器。提前在小数据子集上拟合好预处理器的统计量（或者直接用支持partial_fit的预处理器逐块更新统计量），循环读取每个数据块，做完预处理后喂给模型的partial_fit接口迭代更新参数即可，全程内存占用只和单个chunk的大小有关。
• PyTorch适配：
  自定义继承torch.utils.data.Dataset的数据集类，初始化阶段不加载实际数据，只记录所有CSV文件的路径、每个文件包含的样本数索引，重写__getitem__方法，在取数时根据全局索引定位到对应CSV的对应行，实时读取该行的特征和标签返回，再配合DataLoader按batch组装数据即可，不管是深度学习模型还是自定义包装的传统机器学习模型都能适配。
• TensorFlow适配：
  直接用内置的tf.data.experimental.make_csv_dataset接口，传入所有CSV的文件路径，指定batch大小即可，接口本身已经实现了流式分批读取逻辑，不会把全量数据加载进内存，返回的数据集对象可以直接送入model.fit流程训练。

2 用核外计算框架替换原生数据/模型接口 #

如果不想自己写分块遍历、逐块训练的逻辑，可以直接用专门面向超内存数据的计算框架，API和pandas、Scikit-Learn高度兼容，改造成本极低：

• Dask：Dask的DataFrame API和pandas几乎一致，读CSV时会自动做分块惰性加载，不会把全量数据读入内存；配套的Dask-ML库实现了包括核SVR、随机森林在内的常用传统机器学习模型的核外训练版本，基本只需要把原来import pandas as pd、from sklearn.svm import SVR的导入语句换成Dask对应模块的导入，原有逻辑几乎不用改就能跑。
• Vaex：同样是面向超内存表格数据的惰性计算库，读CSV时只会加载数据的元信息，实际计算时按块调度读取需要的部分，内存占用可以控制在GB级别以内，也提供了对接Scikit-Learn模型的训练接口。

3 数据格式与内存优化，降低全量加载的内存开销 #

CSV本身是无压缩的冗余文本格式，很多时候做完优化后，全量数据的内存占用会降到原CSV大小的1/10甚至更低，可以直接加载进内存训练：

• 把所有CSV转成Parquet、Feather这类带压缩的列式存储格式，这类格式会自动对数值类型做位宽压缩、对字符串做字典编码，读入内存的占用远低于原始CSV，读取速度也快数倍。
• 读数据时主动做类型降级：把默认的float64数值列转成float32，类别型字符串列转成pandas的category类型，不要用object类型存储离散特征，单这一步通常就能减少50%以上的内存占用。
• 提前做特征筛选：在小批量样本上计算特征方差、特征和标签的相关性，删掉零方差、无预测性的冗余特征，减少整体数据维度。

4 不支持增量训练的模型（如非线性核SVR）适配方案 #

非线性核SVR这类模型训练时需要计算全量样本的核矩阵，原生不支持分块增量训练，可以用以下方案适配：

• 核近似替换精确核计算：用Scikit-Learn自带的Nystroem或者RBFSampler做核函数近似，把原本需要在训练时隐式计算的高维核映射，提前通过分块计算转换成显式的低维特征，之后就可以用支持增量训练的线性模型在这些特征上训练，效果和精确核SVR差距在可接受范围内，完全支持核外训练流程。
• 核矩阵分块落盘：如果对精度要求极高必须用精确核计算，可以在计算核矩阵时按块计算，把算完的核矩阵块存在本地磁盘上，训练时按块读取核矩阵参与计算，该方案实现成本较高，优先选核近似方案。
• 临时扩容：如果以上方案实现成本太高，可以临时租用高内存云实例跑训练任务，跑完即释放实例，整体成本很低。

避坑提示：不要对不支持partial_fit的原生模型（比如非线性核SVR、普通版随机森林）硬套分块读取逐块调用fit的逻辑，这种操作相当于每次拿小批量数据从头训模型，最终效果会严重偏离全量训练的预期。

内容的提问来源于stack exchange，提问作者Ouss