Unix下Python脚本链式管道（stdin/stdout）执行异常排查

问题场景 #

我写了两个Python脚本do1和do2，功能都是支持从标准输入(stdin)或文件读取内容，输出到标准输出(stdout)或指定文件。其中do2只是把输出前缀从1改成2。但在Unix环境下执行管道命令echo hi | ./do1 | ./do2时，出现了三种不一致的结果：

• 输出2 no stdin or input file，同时抛出BrokenPipeError异常
• 仅输出2 no stdin or input file
• 正常输出21hi

问题原因 #

核心问题出在脚本里用select.select([sys.stdin], [], [], 0.0)判断stdin是否有输入的逻辑：

1. 时序竞争：管道中进程的启动和数据传递存在时间差。当do2启动后立即用超时为0的select检查stdin时，可能do1还没来得及把数据写入管道，此时select返回空列表，do2就错误判定没有输入，直接输出错误信息退出。
2. BrokenPipeError来源：如果do2提前退出关闭了管道读端，do1还在往管道写端写入数据，就会触发BrokenPipeError。

原代码用非阻塞的select做即时检查，完全依赖瞬间的管道状态，这种方式在跨进程管道通信场景下极不可靠——管道数据不是瞬间就绪的。

解决方案 #

1. 替换不可靠的select检测，改用稳健的输入处理逻辑 #

不要提前用select预判stdin状态，直接尝试读取，遇到EOF再判定无输入。同时保留命令行参数处理逻辑，添加异常捕获确保程序稳定。

修正后的do1代码：

#!/usr/bin/env python3
import sys
import io

fi = None
ofname = None

# 处理命令行参数
for arg in sys.argv[1:]:
    if fi is None:
        try:
            fi = open(arg)
        except Exception as e:
            print(f'1 failed to open input file: {e}', file=sys.stderr)
            exit(1)
    elif ofname is None:
        ofname = arg

# 默认从stdin读取
if fi is None:
    fi = sys.stdin

# 检查stdin是否真的无数据
try:
    first_line = fi.readline()
    if not first_line and fi is sys.stdin:
        print('1 no stdin or input file', file=sys.stderr)
        exit(1)
    # 把已读的第一行放回，保证后续遍历完整内容
    fi = io.StringIO(first_line + fi.read())
except Exception as e:
    print(f'1 error reading input: {e}', file=sys.stderr)
    exit(1)

# 处理输出
if ofname is None:
    fo = sys.stdout
else:
    try:
        fo = open(ofname, 'w')
    except Exception as e:
        print(f'1 failed to open output file: {e}', file=sys.stderr)
        exit(1)

# 写入内容并处理管道异常
try:
    for l in fi:
        fo.write('1')
        fo.write(l)
    fo.flush()
except BrokenPipeError:
    # 管道另一端关闭时优雅退出，避免报错
    sys.exit(0)
finally:
    fi.close()
    fo.close()

do2只需将代码中所有的1替换为2即可。

2. 关键优化点说明 #

• 直接将stdin作为默认输入源，通过实际读取判断是否有数据，避免时序问题
• 添加文件打开、读取的异常捕获，提升程序容错性
• 捕获BrokenPipeError，避免管道提前关闭时抛出异常
• 强制刷新输出缓冲区，确保数据及时写入管道

测试验证 #

修改后重新执行echo hi | ./do1 | ./do2，会稳定输出21hi，不会再出现之前的异常情况。

内容的提问来源于stack exchange，提问作者PatB