如何在大文本文件中高效搜索指定字符串，无需逐行循环？

需要从CSV格式的文本文件中提取包含特定唯一标识（比如Profile ID）的行，但逐行循环读取的方式效率太低——如果目标标识在文件最后一行，得遍历完整个文件；要是同时搜索多个标识，耗时会更长。
文本文件行格式示例：name,id,image,age,place,link

现有逐行遍历的C#实现代码：

string word = "13215646";
string output = string.Empty;
    
using (var fileStream = File.OpenRead(FileName))
using (var streamReader = new StreamReader(fileStream, Encoding.UTF8))
{
    String line;
    while ((line = streamReader.ReadLine()) != null)
    {
        string[] strList = line.Split(',');
        if (word == strList[1]) // 检查是否匹配ID列
        {
            output = line;
            break;
        }
    }
}

替代优化方案 #

1. 预建立索引文件（适合多次重复搜索） #

如果需要频繁查询不同ID对应的行，建议预先遍历一次文件，把每个ID对应的文件偏移量存储到索引文件（比如JSON、本地数据库或字典文件）里。后续搜索时直接通过索引定位到目标行的起始位置，跳过前面所有内容，无需全文件遍历：

// 假设已提前生成并加载好ID与行偏移的索引字典
var idOffsetMap = new Dictionary<string, long>();
idOffsetMap["13215646"] = 12345; // 示例偏移量

string targetLine = string.Empty;
using (var fileStream = File.OpenRead(FileName))
{
    // 直接跳转到目标行的起始位置
    fileStream.Seek(idOffsetMap["13215646"], SeekOrigin.Begin);
    using (var reader = new StreamReader(fileStream, Encoding.UTF8))
    {
        targetLine = reader.ReadLine();
    }
}

2. 内存映射文件（适合超大文件） #

对于GB级别的大文件，使用MemoryMappedFile可以直接映射文件到内存，支持随机访问，结合二分查找定位换行符，能大幅减少不必要的IO操作：

string targetId = "13215646";
string resultLine = null;

using (var mmf = MemoryMappedFile.CreateFromFile(FileName, FileMode.Open))
{
    using (var viewStream = mmf.CreateViewStream())
    using (var reader = new StreamReader(viewStream, Encoding.UTF8))
    {
        // 核心逻辑：通过二分查找定位包含目标ID的行所在的文件区间
        long fileSize = viewStream.Length;
        long low = 0, high = fileSize;
        
        while (low <= high)
        {
            long mid = (low + high) / 2;
            viewStream.Seek(mid, SeekOrigin.Begin);
            // 跳过当前不完整的行，定位到下一行开头
            while (viewStream.Position < fileSize && reader.Read() != '\n');
            
            string line = reader.ReadLine();
            if (line == null) break;
            
            var parts = line.Split(',');
            int compareResult = string.Compare(parts[1], targetId);
            if (compareResult == 0)
            {
                resultLine = line;
                break;
            }
            else if (compareResult < 0)
            {
                low = mid + 1;
            }
            else
            {
                high = mid - 1;
            }
        }
    }
}

3. 借助第三方CSV库 #

使用CsvHelper这类专门处理CSV的库，内部优化了读取逻辑，支持LINQ查询，代码更简洁且效率更高：

using CsvHelper;
using System.Globalization;

string targetId = "13215646";
string resultLine = null;

using (var reader = new StreamReader(FileName))
using (var csv = new CsvReader(reader, CultureInfo.InvariantCulture))
{
    csv.Configuration.HasHeaderRecord = false; // 根据文件是否有表头调整
    while (csv.Read())
    {
        var currentId = csv.GetField(1);
        if (currentId == targetId)
        {
            resultLine = csv.Context.RawRecord;
            break;
        }
    }
}

关键说明 #

如果只是单次搜索，逐行遍历的开销其实无法完全规避——毕竟要找到目标行必须确认内容。只有当需要多次重复查询时，预建索引或使用内存映射的优势才会凸显。

内容的提问来源于stack exchange，提问作者Lucifer Analytics