ML.Net处理小型数据集触发System.OutOfMemoryException问题求助

我有一个60MB、包含70万行数据的CSV数据集，数据量不算大。机器配备32GB内存，运行程序时内存使用率甚至不足20%，且已构建64位Release版本，但仍触发System.OutOfMemoryException异常。

有两个疑问：

• 是否需要先转换数据并持久化后再训练，避免重复转换操作？
• 后续要处理更大的数据集，ML.NET理应支持这类场景，难道必须切换到Python？

• .NET 6.0
• Microsoft.ML 3.0.1

MLContext _mlContext;
PredictionEngine<MlProduct, MlProductPrediction> _predictionEngine;
ITransformer _trainedModel;
IDataView _trainingDataView;


_mlContext = new MLContext()
{
    GpuDeviceId = 0,
    FallbackToCpu = false,
};

_trainingDataView = LoadDataFromCSV();

TrainTestData dataSplit = _mlContext.Data.TrainTestSplit(_trainingDataView, testFraction: 0.2);
IDataView trainData = dataSplit.TrainSet;
IDataView testData = dataSplit.TestSet;

var pipeline = _mlContext.Transforms.Conversion.MapValueToKey(inputColumnName: "CategoryName", outputColumnName: "Label")
           .Append(_mlContext.Transforms.Text.FeaturizeText("Features", "ProductName"));

var trainingPipeline = pipeline.Append(_mlContext.MulticlassClassification.Trainers.SdcaMaximumEntropy("Label", "Features"))
       .Append(_mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel"));

_trainedModel = trainingPipeline.Fit(trainData);

IDataView transformTest = _trainedModel.Transform(testData);

System.OutOfMemoryException
  HResult=0x8007000E
  Message=Exception of type 'System.OutOfMemoryException' was thrown.
  Source=Microsoft.ML.Core
  StackTrace:
   at Microsoft.ML.Internal.Utilities.VBufferUtils.CreateDense[T](Int32 length)
   at Microsoft.ML.Trainers.SdcaTrainerBase`3.TrainCore(IChannel ch, RoleMappedData data, LinearModelParameters predictor, Int32 weightSetCount)
   at Microsoft.ML.Trainers.StochasticTrainerBase`2.TrainModelCore(TrainContext context)
   at Microsoft.ML.Trainers.TrainerEstimatorBase`2.TrainTransformer(IDataView trainSet, IDataView validationSet, IPredictor initPredictor)
   at Microsoft.ML.Data.EstimatorChain`1.Fit(IDataView input)
   at Program.<Main>$(String[] args) in C:\Ml.Product.2\Ml.Product.2\Program.cs:line 29

public class MlProduct
{

    [LoadColumn(0)]
    [ColumnName("ProductName")]
    public string ProductName { get; set; }
    [LoadColumn(1)]
    [ColumnName("CategoryName")]
    public string CategoryName { get; set; }
}

public class MlProductPrediction
{
    [ColumnName("PredictedLabel")]
    public string CategoryName;

    [ColumnName("PredictionScore")]
    public float Score { get; set; }
}

1. 内存溢出核心原因 #

从堆栈跟踪看，异常出现在VBufferUtils.CreateDense方法，说明文本特征化后生成的特征向量维度过高，导致SDCA训练时需要分配极大的稠密矩阵，直接耗尽内存。

默认的FeaturizeText会生成大量特征（如n-gram、词袋等），70万行数据加上高维度特征，即使单条数据特征不大，累积后的矩阵规模会远超预期——尤其是SDCAMaximumEntropy在多分类任务中，会为每个类别维护权重向量，进一步放大内存占用。

另外，你启用了GPU但设置FallbackToCpu=false，如果GPU显存不足（即使主机内存充足），也会直接抛出内存溢出，因为GPU无法分配足够显存存储特征矩阵，且不回退到CPU处理。

2. 针对性优化方案 #

（1）精简文本特征维度 #

修改FeaturizeText，限制特征数量，避免生成冗余特征：

// 替换原FeaturizeText，添加停用词过滤、特征数量限制等
.Append(_mlContext.Transforms.Text.FeaturizeText("Features", "ProductName", 
    advancedSettings: s => 
    {
        s.UseStopRemoval = true; // 启用停用词过滤
        s.NgramLength = 2; // 限制n-gram最大长度为2，减少特征数
        s.MaximumNumberOfFeatures = 10000; // 限制总特征数，可按需调整
    }))

（2）调整GPU配置 #

如果GPU显存较小（如4GB及以下），70万行的高维特征矩阵可能无法装入显存：

• 暂时关闭GPU加速，设置FallbackToCpu=true，或直接不指定GpuDeviceId，用CPU训练验证是否还会溢出；
• 若必须用GPU，先对数据做采样测试，逐步增大数据量观察显存占用。

（3）启用流式数据处理 #

ML.NET的IDataView支持延迟加载，但TrainTestSplit会将数据全部加载到内存。可以改用流式拆分或分批训练：

// 用FileLoader直接创建流式IDataView，避免全量加载
var loader = _mlContext.Data.CreateTextLoader<MlProduct>(separatorChar: ',', hasHeader: true);
_trainingDataView = loader.Load("your_data.csv");

// 后续训练可直接基于流式数据操作，无需一次性加载全量数据

（4）预转换并持久化特征 #

如果后续要重复训练，可先将特征转换后的结果持久化到磁盘，避免每次训练都重新做文本特征化：

// 先执行特征转换并保存
var transformedData = pipeline.Fit(_trainingDataView).Transform(_trainingDataView);
_mlContext.Data.SaveAsBinary(transformedData, "transformed_data.bin");

// 后续训练直接加载预处理后的二进制数据
var preprocessedData = _mlContext.Data.LoadFromBinary("transformed_data.bin");

3. 关于是否切换到Python #

完全没必要。ML.NET完全支持大规模数据集处理，只需正确配置特征工程和训练参数。上述优化方案足以解决当前问题，后续处理更大数据集时，还可结合：

• 增量训练（Incremental Training）；
• 分布式训练（ML.NET支持分布式训练框架）；
• 更高效的特征选择方法。

内容的提问来源于stack exchange，提问作者Harry