Java读取8GB日志文件时，如何跳过无需读取的超长行？

问题分析 #

你当前使用Scanner的方案中，skip("\n")需要逐字符扫描到换行符才能完成跳过操作，对于超过1500万字符的超长行来说，这个过程会遍历所有字符，导致程序运行缓慢。核心需求是：读取每行首个单词，若为"messaggio:"则直接跳过整行，不加载后续字符。

优化方案 #

使用BufferedReader逐字符读取，先获取首单词进行判断，若符合跳过条件则仅遍历到换行符就停止，不存储整行内容；若不符合则再处理整行。这种方式避免了加载超长行到内存，大幅提升效率。

代码实现 #

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class LogProcessor {
    public static void processLog(String logFilePath) {
        try (FileReader fr = new FileReader(logFilePath);
             BufferedReader br = new BufferedReader(fr)) {

            int currentChar;
            StringBuilder firstWord = new StringBuilder();

            while ((currentChar = br.read()) != -1) {
                // 跳过行首的空白字符（除了换行）
                while (Character.isWhitespace(currentChar) && currentChar != '\n') {
                    currentChar = br.read();
                    if (currentChar == -1) break;
                }
                if (currentChar == -1) break;

                // 读取首个单词，直到遇到空白或换行
                while (!Character.isWhitespace(currentChar)) {
                    firstWord.append((char) currentChar);
                    currentChar = br.read();
                    if (currentChar == -1 || currentChar == '\n') break;
                }

                String word = firstWord.toString();
                firstWord.setLength(0); // 重置缓冲区，用于下一行

                if (word.equals("messaggio:")) {
                    // 跳过当前行剩余内容，直到换行符或文件结束
                    while (currentChar != '\n' && currentChar != -1) {
                        currentChar = br.read();
                    }
                } else {
                    // 处理非目标行：读取剩余内容并组合成完整行
                    String restOfLine = "";
                    if (currentChar != '\n' && currentChar != -1) {
                        restOfLine = br.readLine();
                    }
                    String fullLine = word + (restOfLine.isEmpty() ? "" : " " + restOfLine);
                    
                    // 在这里添加你的业务逻辑
                    // System.out.println(fullLine);
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) {
        processLog("your_log_file.log");
    }
}

代码说明 #

1. 逐字符读取首单词：先跳过行首空白，再逐个读取字符直到遇到空白或换行，得到首个单词，避免加载整行。
2. 快速跳过目标行：如果首单词是"messaggio:"，则循环读取字符直到换行符，直接丢弃这些字符，不存储到内存。
3. 处理非目标行：若首单词不符合跳过条件，调用br.readLine()读取剩余内容并组合成完整行，进行后续业务处理。
4. 资源自动管理：使用try-with-resources语法，确保流资源自动关闭，避免内存泄漏。

内容的提问来源于stack exchange，提问作者SAMUELE BERNARDI