Bash脚本执行时为每行加前缀并实现实时输出的方法

问题背景 #

现有如下Bash脚本：

#!/bin/bash

output_names=("run1" "run2" "run3")

for name in "${output_names[@]}"; do
    ls | sed "s/^/[$name] /"
done

它会为ls的每行输出加上[runX]前缀，输出示例：

[run1] f1.cpp
[run1] f2.cpp
[run2] f1.cpp
[run2] f2.cpp
[run3] f1.cpp
[run3] f2.cpp

但把ls换成耗时应用时，必须等上游进程完全结束，才会一次性输出所有带前缀的内容，无法实时看到逐步产生的输出，需要修改代码实现实时打印。

问题根源 #

管道中的sed默认会启用块缓冲（当输出目标不是终端时），只有缓冲区填满或者上游进程终止时，才会把内容输出到终端。耗时应用的输出是逐步生成的，自然就会出现延迟显示的情况。

解决方案 #

方法1：给sed开启行缓冲 #

GNU sed支持-u（或--unbuffered）参数，强制切换为行缓冲模式，每读取一行就立即输出：

#!/bin/bash

output_names=("run1" "run2" "run3")

for name in "${output_names[@]}"; do
    # 替换为你的实际耗时应用，这里用循环+sleep模拟实时输出
    (for i in {1..5}; do echo "实时输出 $i"; sleep 1; done) | sed -u "s/^/[$name] /"
done

方法2：用awk替代sed #

awk默认对管道输出采用行缓冲，无需额外参数就能实时处理：

#!/bin/bash

output_names=("run1" "run2" "run3")

for name in "${output_names[@]}"; do
    (for i in {1..5}; do echo "实时输出 $i"; sleep 1; done) | awk -v prefix="[$name] " '{print prefix $0}'
done

方法3：用stdbuf强制无缓冲（兼容性更强） #

如果是非GNU环境，sed -u可能不生效，可以用stdbuf命令强制上游应用和处理工具都使用行缓冲：

#!/bin/bash

output_names=("run1" "run2" "run3")

for name in "${output_names[@]}"; do
    stdbuf -oL -eL your-long-running-app | stdbuf -oL -eL sed "s/^/[$name] /"
done

其中-oL表示标准输出用行缓冲，-eL表示标准错误输出也用行缓冲（如果需要捕获错误信息的话）。

验证说明 #

把示例中的模拟耗时命令(for i in {1..5}; do echo "实时输出 $i"; sleep 1; done)替换成你的实际应用，就能看到每行输出产生时，立刻被加上前缀并打印出来。

内容的提问来源于stack exchange，提问作者Thomas