使用CsvHelper排序4GB大CSV多列时遇内存溢出问题求助

针对2000万条、4GB的CSV文件排序时出现的System.OutOfMemoryException，核心问题是一次性加载全量数据到内存超出了进程可用内存上限（哪怕你有16GB物理内存，32位进程最多只能用2GB左右）。以下是可行的解决思路：

1. 分块处理+外部排序（最可靠方案） #

把大文件拆分成多个能被内存容纳的小批次，分别排序后写入临时文件，最后通过多路归并合并所有有序临时文件得到最终结果。

步骤1：拆分并排序小批次 #

using System.Globalization;
using CsvHelper;

int batchSize = 1000000; // 可根据内存情况调整，比如80万-120万条
int batchIndex = 0;
// 定义排序字段对应的委托
var sortKeySelector = (Func<MyEntity, (object, object)>)x => (x.SortColumn1, x.SortColumn2);

using (var reader = new StreamReader("large_input.csv"))
using (var csvReader = new CsvReader(reader, CultureInfo.InvariantCulture))
{
    csvReader.Context.RegisterClassMap<MyEntityMap>(); // 用类映射优化读取效率
    List<MyEntity> currentBatch = new List<MyEntity>(batchSize);

    while (csvReader.Read())
    {
        var record = csvReader.GetRecord<MyEntity>();
        currentBatch.Add(record);

        if (currentBatch.Count >= batchSize)
        {
            // 按指定列排序当前批次
            var sortedBatch = currentBatch.OrderBy(sortKeySelector).ToList();
            // 写入临时文件
            using (var writer = new StreamWriter($"temp_sorted_{batchIndex}.csv"))
            using (var csvWriter = new CsvWriter(writer, CultureInfo.InvariantCulture))
            {
                csvWriter.WriteRecords(sortedBatch);
            }
            currentBatch.Clear();
            batchIndex++;
            // 手动触发GC释放内存
            GC.Collect(2, GCCollectionMode.Forced);
            GC.WaitForPendingFinalizers();
        }
    }

    // 处理剩余的少量数据
    if (currentBatch.Count > 0)
    {
        var sortedBatch = currentBatch.OrderBy(sortKeySelector).ToList();
        using (var writer = new StreamWriter($"temp_sorted_{batchIndex}.csv"))
        using (var csvWriter = new CsvWriter(writer, CultureInfo.InvariantCulture))
        {
            csvWriter.WriteRecords(sortedBatch);
        }
    }
}

步骤2：多路归并临时文件 #

使用优先队列（PriorityQueue，.NET 6+支持）管理所有临时文件的当前读取记录，每次取出排序后最小的记录写入最终文件，直到所有临时文件读取完毕：

using System.Collections.Generic;
using System.Globalization;
using CsvHelper;

// 存储每个临时文件的读取器和当前记录
var readers = new List<(CsvReader Reader, MyEntity CurrentRecord)>();
var priorityQueue = new PriorityQueue<MyEntity, (object, object)>();

// 初始化所有临时文件读取器
for (int i = 0; i <= batchIndex; i++)
{
    var stream = new StreamReader($"temp_sorted_{i}.csv");
    var csvReader = new CsvReader(stream, CultureInfo.InvariantCulture);
    csvReader.Context.RegisterClassMap<MyEntityMap>();
    if (csvReader.Read())
    {
        var record = csvReader.GetRecord<MyEntity>();
        readers.Add((csvReader, record));
        priorityQueue.Enqueue(record, (record.SortColumn1, record.SortColumn2));
    }
}

// 开始归并写入最终文件
using (var writer = new StreamWriter("final_sorted.csv"))
using (var csvWriter = new CsvWriter(writer, CultureInfo.InvariantCulture))
{
    csvWriter.WriteHeader<MyEntity>();
    csvWriter.NextRecord();

    while (priorityQueue.Count > 0)
    {
        var minRecord = priorityQueue.Dequeue();
        csvWriter.WriteRecord(minRecord);
        csvWriter.NextRecord();

        // 找到该记录对应的读取器，读取下一条
        var readerEntry = readers.First(r => r.CurrentRecord == minRecord);
        if (readerEntry.Reader.Read())
        {
            var nextRecord = readerEntry.Reader.GetRecord<MyEntity>();
            readers[readers.IndexOf(readerEntry)] = (readerEntry.Reader, nextRecord);
            priorityQueue.Enqueue(nextRecord, (nextRecord.SortColumn1, nextRecord.SortColumn2));
        }
        else
        {
            // 该文件已读完，关闭读取器
            readerEntry.Reader.Dispose();
            readers.Remove(readerEntry);
        }
    }
}

// 清理临时文件
for (int i = 0; i <= batchIndex; i++)
{
    File.Delete($"temp_sorted_{i}.csv");
}

2. 调整进程内存配置 #

• 切换到64位平台：右键项目 → 属性 → 生成 → 平台目标，选择x64。32位进程默认内存上限约2GB，切换到64位后能充分利用你的16GB物理内存。
• 启用Server GC：在项目的app.config或runtimeconfig.json中添加配置，让垃圾回收更适合大内存场景：

  <configuration>
    <runtime>
      <gcServer enabled="true"/>
    </runtime>
  </configuration>
  

3. 优化实体类与读取效率 #

• 使用值类型实体：如果你的实体类没有可变状态，可以改为struct代替class，减少对象头和引用的内存开销。
• 仅保留必要字段：在CSV映射类中只配置排序和输出需要的字段，去掉无关属性，降低单条记录的内存占用。
• 禁用CsvHelper的缓存：如果不需要重复读取同一文件，可关闭CsvHelper的上下文缓存，减少内存消耗：

  csvReader.Context.CacheFields = false;
  

内容的提问来源于stack exchange，提问作者Ming Hieu