从stdin读取时刷新stdout无效果的技术问题分析

我最近遇到了一个挺棘手的缓冲问题，不管用Perl还是C编写的行覆盖程序，在直接对着终端运行时都能正常工作，但放到管道里就彻底失效了——得等所有输入都跑完才会一次性输出结果，明明最终的字节流是对的，却没法实时更新显示。下面把问题细节、根源和解决办法整理出来：

Perl 示例 #

第一个Perl脚本直接运行时，能完美实现数字1到5在控制台实时覆盖：

#!/usr/bin/perl -w
use strict;
$| = 1;
foreach (1..5) {
    print $_ . "\r";
    sleep 1;
}
print "\n";

执行./loop.pl | hexdump -C，能看到正确的字节输出：

00000000  31 0d 32 0d 33 0d 34 0d  35 0d 0a               |1.2.3.4.5..|

但当我写了一个用来处理长程序输出、实现行覆盖的脚本（使用方式：long_running_program | tee output | ./progr.pl），问题就来了：

#!/usr/bin/perl -w
use strict;
$| = 1;
while (<>) {
    chomp;
    print $_ . "\r";
}
print "\n";

执行perl -wle 'foreach (1..5) { print $_; sleep 1 }' | ./progr.pl时，整整5秒内控制台完全没输出，最后只显示数字5。但用hexdump检查输出，结果和第一个脚本完全一致：

$ perl -wle 'foreach (1..5) { print $_; sleep 1 }' | ./progr.pl | hexdump.exe -C
00000000  31 0d 32 0d 33 0d 34 0d  35 0d 0a               |1.2.3.4.5..|

C 示例 #

同样的问题也出现在C代码里：直接输出的程序能正常实时覆盖：

#include <stdio.h>
#include <unistd.h>

int main() {
    for (int i = 0; i < 6; ++i) {
        printf("%d\r", i);
        fflush(stdout);
        sleep(1);
    }
    puts("\n");
    return 0;
}

但处理管道输入的程序，哪怕手动关闭了stdout缓冲，还是没法实时输出：

#include <stdio.h>
#include <unistd.h>

#define SIZE (256 * 1024)

int main() {
    char buffer[SIZE];
    int line = 0;
    setvbuf(stdout, NULL, _IONBF, 0); // 尝试关闭标准输出缓冲
    while (fgets(buffer, SIZE, stdin)) {
        printf("%d\r", ++line);
        fflush(stdout);
    }
    puts("\n");
    return 0;
}

把它放到管道末端运行时，同样要等输入耗尽才会显示结果。我在远程RHEL6（通过SSH连接）和本地Cygwin环境都测试过，结果一致。

其实这个锅根本不在我们的处理脚本上，而是管道另一端的上游程序的输出缓冲在搞鬼！

Unix/Linux系统里，程序的输出缓冲策略是根据输出目标自动切换的：

• 当输出目标是终端时，默认使用行缓冲——每输出一行就自动刷新缓冲，把内容送到终端；
• 当输出目标是管道或文件时，默认切换为块缓冲——会攒够一大块数据（通常是4KB或8KB）才会刷新输出，或者等到程序结束时一次性清空缓冲。

比如我们测试用的perl -wle 'foreach (1..5) { print $_; sleep 1 }'，它的输出是管道，所以被系统设置成了块缓冲。这就导致它不会每打印一个数字就把数据送到管道，而是等5秒程序结束后，才把所有5个数字一次性发给我们的处理脚本。我们的脚本拿到所有数据后一次性处理输出，自然没法实现实时覆盖了。

而第一个直接运行的Perl脚本，输出目标是终端，加上我们设置了$|=1（关闭stdout缓冲），所以每一次print都会立刻刷新到终端，实现了实时覆盖。

要解决这个问题，核心就是让上游程序关闭输出缓冲，或者强制使用行缓冲，这样它才会把数据实时送到管道里，我们的处理脚本才能实时处理并输出。

1. 修改上游Perl程序 #

在Perl上游脚本里添加$|=1，强制关闭输出缓冲：

perl -wle '$|=1; foreach (1..5) { print $_; sleep 1 }' | ./progr.pl

这样上游每打印一个数字就会立刻刷新缓冲，我们的处理脚本就能实时拿到数据，实现预期的行覆盖效果。

2. 修改上游C程序 #

如果是C写的上游程序，要么在每次输出后调用fflush(stdout)，要么一开始就设置stdout为无缓冲：

#include <stdio.h>
#include <unistd.h>

int main() {
    setvbuf(stdout, NULL, _IONBF, 0); // 关闭stdout缓冲
    for (int i = 0; i < 5; ++i) {
        printf("%d\n", i+1);
        sleep(1);
    }
    return 0;
}

编译后和处理程序管道连接，就能实时更新显示了。

3. 通用工具：stdbuf（Linux环境） #

如果上游程序没法修改，Linux下可以用stdbuf工具强制改变它的缓冲策略：

• 强制行缓冲：

stdbuf -oL perl -wle 'foreach (1..5) { print $_; sleep 1 }' | ./progr.pl

-oL参数表示将stdout设置为行缓冲，这样上游每输出一行就立刻送到管道。

• 直接关闭缓冲：

stdbuf -o0 perl -wle 'foreach (1..5) { print $_; sleep 1 }' | ./progr.pl

-o0表示关闭stdout的缓冲，所有输出都会立刻发送。

不管上游是什么程序，用stdbuf调整它的输出缓冲后，我们的处理脚本就能实时收到数据，实现预期的行覆盖效果。

内容的提问来源于stack exchange，提问作者Bulletmagnet