使用StreamReader读取文件时出现内存占用过高问题求助

核心问题 #

你遇到的内存占用过高，根源是ReadToEnd()会把整个文件内容一次性加载到内存，生成一个巨型string对象。.NET中字符串采用UTF-16编码，每个字符占2字节，500MB的文本文件加载后内存占用会远超原文件大小；同时超过85KB的大对象会被分配到大对象堆（LOH），GC不会像回收小对象那样及时清理，导致内存持续占用。

另外，sr.Close()完全多余——using语句会自动调用StreamReader.Dispose()，而Dispose内部已经包含了关闭流的逻辑，手动调用属于画蛇添足。

可行解决方案 #

1. 分块读取并实时处理（推荐） #

放弃一次性加载整个文件，改为分块读取内容并逐块处理，每次仅在内存中保留一小部分数据，从根源上控制内存占用。

示例代码（按固定块读取）：

foreach (var file in files)
{
    using (StreamReader sr = File.OpenText(file))
    {
        char[] buffer = new char[4096]; // 4KB块大小，可根据需求调整
        int charsRead;
        while ((charsRead = sr.ReadBlock(buffer, 0, buffer.Length)) > 0)
        {
            // 处理当前块的内容，仅操作buffer[0..charsRead-1]区间
            ProcessBlock(buffer, charsRead);
        }
    }
}

// 自定义块处理逻辑
void ProcessBlock(char[] buffer, int length)
{
    // do some checks on the buffer segment
}

如果业务逻辑适合按行处理，也可以用ReadLine()：

foreach (var file in files)
{
    using (StreamReader sr = File.OpenText(file))
    {
        string line;
        while ((line = sr.ReadLine()) != null)
        {
            // 处理单行内容
            ProcessLine(line);
        }
    }
}

注：如果文件存在超长行，ReadLine()仍可能生成大字符串，此时优先用分块读取。

2. 使用内存映射文件（适合需随机访问或全文件处理的场景） #

内存映射文件允许直接操作文件的内存映射视图，系统会自动处理分页，无需将整个文件加载到内存，同时访问效率接近直接内存操作。

示例代码：

foreach (var file in files)
{
    using (var mmf = MemoryMappedFile.CreateFromFile(file, FileMode.Open))
    {
        using (var stream = mmf.CreateViewStream())
        using (var sr = new StreamReader(stream))
        {
            char[] buffer = new char[4096];
            int charsRead;
            while ((charsRead = sr.ReadBlock(buffer, 0, buffer.Length)) > 0)
            {
                ProcessBlock(buffer, charsRead);
            }
        }
    }
}

3. 主动触发GC（辅助临时方案） #

如果必须使用一次性加载的方式（不推荐），可在每个文件处理完成后主动触发GC，但会影响性能，仅作为临时补救：

foreach (var file in files)
{
    using (StreamReader sr = File.OpenText(file))
    {
        string s = sr.ReadToEnd();
        // do some checks
    }
    // 强制回收大对象堆
    GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced);
    GC.WaitForPendingFinalizers();
}

关键总结 #

• 避免用ReadToEnd()处理大文件，分块读取是最直接有效的内存控制方式；
• using语句已足够管理流的生命周期，无需手动调用Close()；
• 大对象堆的回收机制是内存占用高的次要原因，核心还是一次性加载的设计问题。

内容的提问来源于stack exchange，提问作者Myridor