C#中从指定行读取大文本文件至末尾的高效方法

问题概述 #

需要读取约2GB的大型文本文件，但仅需从指定行号开始读取至文件末尾，无法将整个文件加载到内存，当前使用StreamReader逐行跳过目标行之前的内容，但不确定这种做法是否正确，也想知道更优的实现方式。

当前尝试的代码：

static string ReadLogFileFromSpecificLine(int LineNumber)
    {
        string content = null;

        using (StreamReader sr = new StreamReader(LogFilePath))
        {
            sr.ReadLine();
            int currentLineNumber = 0;

            string line;
            while ((line = sr.ReadLine()) != null)
            {
                currentLineNumber++;
                if(currentLineNumber >= LineNumber - 1)
                {
                    content += line + "\n";
                }
            }                
        }
        return content;
    }

现有代码的问题 #

1. 行号计数错误：开头的sr.ReadLine()直接跳过第一行，导致后续行号偏移。比如当指定行号为1时，会跳过真正的第一行，从第二行开始收集内容，不符合需求。
2. 字符串拼接性能极差：使用content += line + "\n"拼接内容，由于string是不可变类型，每次拼接都会生成新的字符串对象，对于大文件来说，会导致内存占用飙升，读取速度极慢。

基础优化方案（单次读取场景） #

你的核心思路是对的——因为文本文件的行没有固定字节偏移，第一次读取时必须逐行跳过目标行之前的内容，无法直接定位。但可以修复代码bug并优化性能：

优化后的代码：

static string ReadLogFileFromSpecificLine(int lineNumber)
{
    // 处理非法行号输入
    if (lineNumber < 1)
        throw new ArgumentOutOfRangeException(nameof(lineNumber), "行号必须大于等于1");

    // 使用StringBuilder高效拼接内容
    var contentBuilder = new StringBuilder();

    using (StreamReader sr = new StreamReader(LogFilePath))
    {
        string line;
        int currentLine = 0;

        // 跳过目标行之前的所有行
        while ((line = sr.ReadLine()) != null)
        {
            currentLine++;
            if (currentLine == lineNumber)
            {
                // 读取到目标行，开始记录内容
                contentBuilder.AppendLine(line);
                break;
            }
        }

        // 读取剩余所有行
        while ((line = sr.ReadLine()) != null)
        {
            contentBuilder.AppendLine(line);
        }
    }

    return contentBuilder.ToString();
}

优化点说明：

• 修复了行号计数逻辑，确保从指定行开始读取
• 使用StringBuilder替代字符串拼接，大幅降低内存开销和提升拼接速度
• 增加了非法行号的边界判断，提升代码健壮性

进阶优化方案（多次读取同一文件场景） #

如果需要多次读取同一个大文件的不同行，可以预先构建行偏移索引文件，记录每行的起始字节位置。后续读取时直接通过索引定位到目标行的起始位置，无需逐行跳过前面的内容，性能会大幅提升。

1. 构建行偏移索引 #

static void BuildLineOffsetIndex(string filePath, string indexFilePath)
{
    using (var stream = new FileStream(filePath, FileMode.Open, FileAccess.Read))
    using (var writer = new BinaryWriter(File.Create(indexFilePath)))
    {
        writer.Write((long)0); // 第一行的起始偏移为0
        int bufferSize = 4096;
        byte[] buffer = new byte[bufferSize];
        int bytesRead;
        long currentOffset = 0;

        while ((bytesRead = stream.Read(buffer, 0, bufferSize)) > 0)
        {
            for (int i = 0; i < bytesRead; i++)
            {
                if (buffer[i] == '\n')
                {
                    currentOffset += i + 1;
                    writer.Write(currentOffset);
                    // 跳转至当前换行符的下一个位置，继续读取
                    stream.Seek(currentOffset, SeekOrigin.Begin);
                    Array.Clear(buffer, 0, bufferSize);
                    bytesRead = stream.Read(buffer, 0, bufferSize);
                    i = -1; // 重置循环，重新遍历新的缓冲区
                }
            }
            currentOffset += bytesRead;
        }
    }
}

2. 通过索引快速读取指定行 #

static string ReadLogFileFromSpecificLineWithIndex(int lineNumber, string indexFilePath)
{
    if (lineNumber < 1)
        throw new ArgumentOutOfRangeException(nameof(lineNumber), "行号必须大于等于1");

    // 读取索引文件中的行偏移数据
    long[] offsets;
    using (var reader = new BinaryReader(File.OpenRead(indexFilePath)))
    {
        var offsetCount = reader.BaseStream.Length / sizeof(long);
        offsets = new long[offsetCount];
        for (int i = 0; i < offsetCount; i++)
        {
            offsets[i] = reader.ReadInt64();
        }
    }

    // 处理行号超出文件总行数的情况
    if (lineNumber > offsets.Length)
        return string.Empty;

    var contentBuilder = new StringBuilder();
    using (var stream = new FileStream(LogFilePath, FileMode.Open, FileAccess.Read))
    using (var sr = new StreamReader(stream))
    {
        // 直接定位到目标行的起始字节位置
        stream.Seek(offsets[lineNumber - 1], SeekOrigin.Begin);
        string line;
        while ((line = sr.ReadLine()) != null)
        {
            contentBuilder.AppendLine(line);
        }
    }

    return contentBuilder.ToString();
}

内容的提问来源于stack exchange，提问作者Bluemarble