如何高效在海量日志文件中批量检索多字符串并统计出现次数

现有方案的性能瓶颈 #

你当前的实现存在两个核心的性能短板，不适合海量日志场景：

• 单文件重复遍历：你共有7个待检索关键词，现有逻辑会把整个文件内容完整遍历7次，文件数量越多、体积越大，冗余消耗就越明显
• 全量加载文件：Files.readAllBytes会把整个文件一次性加载到内存，遇到GB级的大日志文件直接会触发OOM，完全无法支撑海量日志的检索需求

更优的实现方案 #

1. 算法层面替换为多模式匹配 #

放弃单个关键词逐一遍历的逻辑，改用Aho-Corasick（AC自动机）多模式匹配算法，只需要遍历文件内容1次，就能完成所有关键词的匹配和计数，关键词越多性能优势越明显，相比你现在的实现至少有数倍的性能提升。
Java生态下不用自己手动实现算法，可以直接用apache commons-text封装好的AhoCorasick工具类，示例代码如下：

// 初始化AC自动机，一次性加载所有待检索关键词
AhoCorasick ac = AhoCorasick.builder()
    .addKeyword("Emp Id: 124")
    .addKeyword("Emp Name: Raj")
    .addKeyword("Emp Id:587")
    .addKeyword("Entity Not Found")
    .addKeyword("File Not Found")
    .addKeyword("Exception Occured")
    .addKeyword("System Error")
    .build();

2. 改为流式读取文件 #

不要全量加载文件到内存，改用逐行流式读取的方式，配合AC自动机逐行匹配，内存占用可以稳定在KB级，多大体积的日志文件都可以正常处理：

// 单个文件的关键词计数
Map<String, Integer> fileCountMap = new HashMap<>();
try (BufferedReader reader = Files.newBufferedReader(Paths.get(path), StandardCharsets.UTF_8)) {
    String line;
    while ((line = reader.readLine()) != null) {
        ac.parseText(line, emit -> {
            String keyword = emit.getKeyword();
            // 更新单文件计数
            fileCountMap.put(keyword, fileCountMap.getOrDefault(keyword, 0) + 1);
            // 更新全局总计数
            globalCountMap.put(keyword, globalCountMap.getOrDefault(keyword, 0) + 1);
        });
    }
}

3. 可选多线程并行加速 #

如果日志文件数量极多，可以引入线程池并行处理不同的文件，每个线程单独维护自己的单文件统计结果，最后再汇总全局计数即可，避免线程争用带来的额外开销。

另外两种思路的缺陷说明 #

• contains方法本质和indexOf底层逻辑一致，且只能判断是否存在、无法直接统计次数，还需要配合循环实现，性能和你当前的方案没有差异甚至更差
• split方法是三种思路里性能最差的，匹配过程中会生成大量无用的字符串对象，内存开销和GC压力都很高，完全不适合海量日志场景

内容的提问来源于stack exchange，提问作者integ specialist