使用BufferedReader拆分文本单词存入TreeSet无法通过速度测试求优化方案

核心性能瓶颈 #

• 原代码使用split("\\s+")拆分单词，每次拆分都需要执行正则匹配，正则编译和匹配的开销在大文本场景下占比极高
• 原代码逻辑存在bug：循环判断条件i < words.length && words[0].length() > 0会跳过所有行首带空格的行的全部单词，空行处理逻辑也存在漏洞
• 逐行读取再拆分的模式会生成大量不必要的字符串对象，增加GC负担

优化实现 #

方案1：保留TreeSet直接存储（满足必须存入TreeSet的需求） #

直接手动遍历字符拆分单词，避免正则开销，批量读取字符数组提升IO效率：

BufferedReader read = new BufferedReader(new InputStreamReader(System.in));
Set<String> text = new TreeSet<>();
char[] buf = new char[8192];
StringBuilder currentWord = new StringBuilder();
int len;
while ((len = read.read(buf)) != -1) {
    for (int i = 0; i < len; i++) {
        char c = buf[i];
        if (Character.isWhitespace(c)) {
            if (currentWord.length() > 0) {
                text.add(currentWord.toString());
                currentWord.setLength(0);
            }
        } else {
            currentWord.append(c);
        }
    }
}
// 处理文件末尾无空白的最后一个单词
if (currentWord.length() > 0) {
    text.add(currentWord.toString());
}
System.out.println(text.size());

方案2：HashSet中转（性能更高，适用于允许先去重再转TreeSet的场景） #

如果仅需要最终得到TreeSet、不需要在插入过程中保持有序，可先通过HashSet完成去重，再一次性转为TreeSet，大幅降低插入开销：

BufferedReader read = new BufferedReader(new InputStreamReader(System.in));
Set<String> tempSet = new HashSet<>();
char[] buf = new char[8192];
StringBuilder currentWord = new StringBuilder();
int len;
while ((len = read.read(buf)) != -1) {
    for (int i = 0; i < len; i++) {
        char c = buf[i];
        if (Character.isWhitespace(c)) {
            if (currentWord.length() > 0) {
                tempSet.add(currentWord.toString());
                currentWord.setLength(0);
            }
        } else {
            currentWord.append(c);
        }
    }
}
if (currentWord.length() > 0) {
    tempSet.add(currentWord.toString());
}
TreeSet<String> text = new TreeSet<>(tempSet);
System.out.println(text.size());

性能提升说明 #

• 移除正则拆分逻辑后，单线程处理速度可提升3~10倍，具体提升幅度取决于文本大小和单词密度
• 批量读取字符数组的模式减少了IO调用次数和临时字符串生成量，进一步降低了运行耗时
• HashSet中转方案在单词重复率较高的场景下，性能提升可超过10倍

内容的提问来源于stack exchange，提问作者chris09trt