使用netcat从FIFO读取日志无输出的问题排查

问题描述 #

编写bash脚本监控多个日志文件，通过命名管道合并tail输出后用nc发布，但客户端执行nc localhost 12345无输出，直接运行cat pipe_log却能读到内容。strace显示nc进程持续阻塞在读操作。

原脚本如下：

#!/bin/bash

# Check if at least one log file is provided
if [ "$#" -eq 0 ]; then
    echo "Usage: $0 /path/to/log/file1 [/path/to/log/file2 ...]"
    exit 1
fi

if [ -p pipe_log ]; then 
    echo "Deleting existing pipe"
    rm pipe_log
    echo "Done!"
fi

mkfifo pipe_log

echo "Setting up log publishing"
# Start tail on each log file and pipe to nc in the background
for log_file in "$@"; do
    (tail -n 0 -F "$log_file"  >> pipe_log) &
done
echo "Done!"

echo "Starting server"
(nc -lk -p 12345 -s 0.0.0.0 < pipe_log ) 
echo "Finished"

# Wait for all background processes to finish
wait

rm pipe_log

原因分析 #

1. 命名管道的阻塞特性：以写入模式打开命名管道时，若没有进程以读取模式打开它，open()调用会阻塞，直到有读端连接。脚本中先启动tail后台进程，此时pipe_log未被nc以读模式打开，所有tail进程会先阻塞在打开管道的步骤，直到nc启动。
2. nc监听模式的输入逻辑：nc -l（监听模式）默认会等待客户端连接，仅在客户端连接后才会读取标准输入并转发。即使nc打开了命名管道作为标准输入，在没有客户端连接时，它不会主动读取管道数据，导致管道缓冲区填满后，tail进程再次阻塞在写入操作，数据无法进入管道被nc读取。

当执行cat pipe_log时，cat主动打开管道读端，解除了tail的阻塞，数据被写入并立即被cat读取，因此能看到内容。

修复方案 #

方案1：直接合并tail输出到nc（无需命名管道） #

最简洁的方式是利用bash管道直接将多个tail的输出合并后传给nc，避免命名管道的阻塞问题：

#!/bin/bash

if [ "$#" -eq 0 ]; then
    echo "Usage: $0 /path/to/log/file1 [/path/to/log/file2 ...]"
    exit 1
fi

echo "Starting log publisher on port 12345"
# 启动所有tail进程，将输出合并后通过管道传给nc
for log_file in "$@"; do
    tail -n 0 -F "$log_file" &
done | nc -lk -p 12345 -s 0.0.0.0

# 等待后台tail进程结束
wait

方案2：让nc在客户端连接时读取管道 #

如果必须保留命名管道，可使用GNU nc的-c参数，指定客户端连接时执行cat pipe_log来读取管道内容并转发：

#!/bin/bash

if [ "$#" -eq 0 ]; then
    echo "Usage: $0 /path/to/log/file1 [/path/to/log/file2 ...]"
    exit 1
fi

# 清理旧管道
[ -p pipe_log ] && rm pipe_log
mkfifo pipe_log

# 启动tail进程写入管道
for log_file in "$@"; do
    (tail -n 0 -F "$log_file" >> pipe_log) &
done

echo "Starting server on port 12345"
# 当客户端连接时，执行cat读取管道并转发
nc -lk -p 12345 -s 0.0.0.0 -c 'cat pipe_log'

# 清理
wait
rm pipe_log

说明 #

• 方案1更高效且避免了命名管道的复杂特性，推荐优先使用。
• 若使用BSD版本的nc，-c参数可能不可用，可替换为-e参数（注意：-e会直接执行命令，仅在可信环境使用），或改用socat工具实现类似功能。

内容的提问来源于stack exchange，提问作者farhanhubble