Java程序重定向标准输出到文件时性能骤降问题咨询

好问题！这个现象的核心原因在于JVM针对终端输出和文件/管道输出采用了完全不同的标准输出缓冲策略，再结合Linux内核的IO调度特性，最终导致了性能差异。

1. JVM如何调整缓冲策略？ #

JVM会通过isatty系统调用检测标准输出是否连接到交互式终端（比如你的控制台）：

• 当输出到终端时：System.out（本质是PrintStream）会启用行缓冲模式。也就是说，每输出一行（遇到换行符\n）就会自动刷新缓冲区，确保你能实时看到程序输出——这是交互式场景的刚需。
• 当输出到文件或管道时：JVM会切换到全缓冲模式。此时只有当缓冲区被填满（默认大小是8KB），或者程序主动调用flush()，才会将缓冲区的数据写入底层文件。理论上全缓冲能减少系统调用次数，提升效率，但实际效果取决于你的输出模式。

2. 为什么直接重定向到文件会变慢？ #

在你的测试场景中，每次调用printf输出1000字符加换行（约1KB）：

• 终端输出时，行缓冲会每次换行就触发一次写入，虽然系统调用次数多（100次），但终端设备有专门的优化来处理这种交互式的小批量输出，所以耗时很短。
• 直接输出到文件时，8KB的缓冲区需要攒够8次输出才会写入一次，系统调用次数减少到13次，但Linux内核对于这种中等大小的批量写入，调度效率反而不如终端；再加上JVM的PrintStream本身的线程安全开销（虽然单线程下影响小，但累积起来也有损耗），最终导致耗时增加。

而通过cat中转时，cat使用了更大的用户态缓冲区（通常是64KB甚至更大），它会把Java输出的1KB小块数据合并成大块再写入文件，大幅减少了系统调用次数，同时完美利用了Linux内核对大块写入的优化——这就是为什么性能会回到和终端输出差不多的水平。

3. 你的实际场景（200KB输出耗时2分钟）怎么解释？ #

如果你的实际程序是每行200字符、共1000行，那每次输出只有200多字节。直接输出到文件时，8KB的缓冲区需要攒够30多行才会写入一次，看起来系统调用次数不多，但如果程序中存在其他逻辑导致缓冲区无法被填满（比如频繁的线程切换、或者程序在输出间有微小停顿），JVM可能会频繁触发部分写入，加上Linux内核对频繁小写入的调度开销，最终导致性能雪崩式下降。而终端输出时，行缓冲每次换行就写入，虽然系统调用多，但终端的处理机制更适合这种高频小批量输出，所以反而更快。

解决方法 #

要解决这个问题，你可以手动给System.out设置更大的缓冲区：

import java.io.BufferedWriter;
import java.io.OutputStreamWriter;
import java.io.IOException;

public class WriteToStdout {
    public static void main(String[] args) throws IOException {
        // 用64KB缓冲区包装标准输出
        try (BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(System.out), 65536)) {
            for (int i = 0; i < 100; i++) {
                writer.write(String.format("%1000d\n", 1234));
            }
        }
    }
}

这样无论输出到终端还是文件，都会用大缓冲区合并写入，性能会显著提升。

内容的提问来源于stack exchange，提问作者gsl