Java11使用Stream.forEach读取大文件触发OutOfMemoryError求助

核心原因 #

你代码里的sorted()是触发OutOfMemoryError的关键。Files.lines()返回的是懒加载的流，但sorted()属于有状态的中间操作——它必须把流中所有元素全部加载到内存才能完成排序，这直接把600MB的文件内容全部塞进了仅512MB的堆内存里，最终导致堆内存溢出。

你误以为流式处理天然内存安全，但忽略了sorted()会打破懒加载特性，强制将所有行读入内存缓存。

解决方案 #

情况1：不需要排序 #

直接移除sorted()调用，让流回到懒加载模式，逐行读取、过滤、写入，不会一次性加载全部数据：

Path tempFile;
try (final Stream<String> stream = Files.lines(largeFilePath, StandardCharsets.ISO_8859_1)) {
    tempFile = Files.createTempFile(null, null);
    // 改用BufferedWriter批量写入，避免频繁磁盘IO和内存开销
    try (BufferedWriter writer = Files.newBufferedWriter(tempFile, StandardCharsets.ISO_8859_1, StandardOpenOption.APPEND)) {
        stream.forEach(e -> {
            if (StringUtils.startsWith(e, "aa")) {
                try {
                    writer.write(e);
                    writer.newLine();
                } catch (final IOException e1) {
                    throw new RuntimeException(e1);
                }
            }
        });
    }
} catch (final Exception e) {
    throw e;
}

替换Files.write()为BufferedWriter还能大幅减少磁盘IO次数，提升处理效率，同时避免频繁创建字节数组的额外内存消耗。

情况2：必须排序 #

如果业务逻辑要求必须对行排序，内存无法容纳全部数据，需要使用外部排序：

1. 将大文件拆分为多个内存可容纳的小文件（比如每个100MB）；
2. 对每个小文件单独排序后写入磁盘；
3. 通过归并排序将所有有序小文件合并为一个最终的有序文件。

这种方式无需将所有数据加载到内存，是处理超大文件排序的标准方案。

额外优化建议 #

• 若临时调整内存，可尝试调高堆内存（比如-Xmx1g），但这只是权宜之计，遇到更大文件仍会溢出；
• 避免在流操作中执行频繁IO，批量写入是提升大文件处理性能的关键。

内容的提问来源于stack exchange，提问作者maqjav