面向数十GiB文本文件的快速字符串搜索算法与优化方案咨询

我需要开发一个工具，实现对40-60GiB文本日志文件的快速搜索。每个文件约50MB，包含约63万行日志，且无法使用NoSQL文档数据库。目前我采用Tomas Petricek博客中的Aho-Corsaick算法进行搜索，通过Task并行处理文件，使用File.ReadAllLines加载文件后逐行调用算法（需返回行号），但该方案耗时久、内存与CPU占用高。由于我日常从事图像处理，在该领域经验有限，恳请推荐可提升处理速度的算法与实现方案。

现有核心代码 #

private KeyValuePair<string, StringSearchResult[]> FindInternal(
    IStringSearchAlgorithm algo, 
    string file)
{
    List<StringSearchResult> result = new List<StringSearchResult>();
    string[] lines = File.ReadAllLines(file);
    for (int i = 0; i < lines.Length; i++)
    {
        var results = algo.FindAll(lines[i]);
        for (int j = 0; j < results.Length; j++)
        {
            results[j].Row = i;
        }
    }
    foreach (string line in lines)
    {
        result.AddRange(algo.FindAll(line));
    }
    return new KeyValuePair<string, StringSearchResult[]>(
        file, result.ToArray());
}


public Dictionary<string, StringSearchResult[]> Find(
    params string[] search)
{
    IStringSearchAlgorithm algo = new StringSearch();
    algo.Keywords = search;
    Task<KeyValuePair<string, StringSearchResult[]>>[] findTasks
        = new Task<KeyValuePair<string, StringSearchResult[]>>[_files.Count];
    Parallel.For(0, _files.Count, i => {
        findTasks[i] = Task.Factory.StartNew(
            () => FindInternal(algo, _files[i])
        );
    });
    Task.WaitAll(findTasks);
    return findTasks.Select(t => t.Result)
        .ToDictionary(x => x.Key, x => x.Value);
}

优化方案建议 #

一、立即修复的重大低效点 #

现有FindInternal方法存在重复搜索的严重问题：先遍历所有行调用algo.FindAll仅设置行号但不收集结果，之后又再次遍历所有行调用algo.FindAll收集结果，导致每个文件的每一行被搜索两次，直接翻倍CPU消耗。必须合并为一次遍历，同时完成行号设置和结果收集，这是见效最快的优化。

二、内存与IO优化：流式读取替代全量加载 #

File.ReadAllLines会一次性把整个50MB文件加载到内存，多文件并行时内存占用会急剧飙升。改为逐行流式读取：

• 使用File.ReadLines（延迟加载，不会一次性读入所有行）或StreamReader.ReadLine()逐行处理
• 读取行的同时直接记录行号、执行搜索并收集结果，无需存储整个文件的行数据

修改后的FindInternal示例：

private KeyValuePair<string, StringSearchResult[]> FindInternal(
    IStringSearchAlgorithm algo, 
    string file)
{
    List<StringSearchResult> result = new List<StringSearchResult>();
    int lineNum = 0;
    foreach (string line in File.ReadLines(file))
    {
        lineNum++;
        var matches = algo.FindAll(line);
        foreach (var match in matches)
        {
            match.Row = lineNum;
            result.Add(match);
        }
    }
    return new KeyValuePair<string, StringSearchResult[]>(file, result.ToArray());
}

三、并行策略优化 #

现有Parallel.For嵌套Task.Factory.StartNew属于过度并行，会导致线程池资源竞争：

• 直接用Parallel.ForEach遍历文件列表，无需手动创建Task数组，减少线程调度开销
• 控制并行度：根据CPU核心数设置ParallelOptions.MaxDegreeOfParallelism（比如设为Environment.ProcessorCount或其1.5倍），避免过度并行引发的上下文切换

修改后的Find方法示例：

public Dictionary<string, StringSearchResult[]> Find(params string[] search)
{
    IStringSearchAlgorithm algo = new StringSearch();
    algo.Keywords = search;
    // 确保algo是线程安全的，否则每个并行任务要创建独立实例
    var results = new ConcurrentDictionary<string, StringSearchResult[]>();
    Parallel.ForEach(_files, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount }, file =>
    {
        var fileResult = FindInternal(algo, file);
        results.TryAdd(fileResult.Key, fileResult.Value);
    });
    return results.ToDictionary(kv => kv.Key, kv => kv.Value);
}

四、算法与细节优化 #

• Aho-Corasick实现优化：确保自动机只构建一次（当前代码已做到），且线程安全；若现有实现性能一般，可改用更高效的工业级实现（比如预先缓存状态转移表、减少不必要的内存分配）
• IO缓冲区优化：用指定编码的StreamReader并设置合适的缓冲区大小（比如64KB或128KB），减少磁盘IO次数
• 结果存储优化：若搜索结果量极大，可考虑流式输出到磁盘，而非全部存在内存中

内容的提问来源于stack exchange，提问作者user13523921