Python stdin缓冲问题：向shell命令传递输入时的异常

这个问题的核心在于重定向输入时stdin的缓冲共享冲突——当你用< file.txt启动脚本时，操作系统会把整个文件的内容预加载到stdin缓冲区，Python进程和你通过subprocess.run启动的shell进程会共享这个缓冲区，导致两者的读取操作互相干扰，出现输入错位的情况。

为什么PYTHONUNBUFFERED和-u没用？ #

这些参数是用来控制Python的stdout/stderr缓冲，让输出实时刷新，和stdin的缓冲没有关系。而且问题的根源不是Python的stdin缓冲，而是两个进程（Python+shell）抢读同一个stdin流。

解决方案：避免共享stdin，手动控制输入流向 #

我们可以通过两种方式解决这个问题：

方案1：提前读取所有输入，按需分配

如果输入文件不大，可以一次性把所有内容读入内存，再分别传递给Python的处理逻辑和subprocess：

import sys
import subprocess

def main():
    # 一次性读取所有输入行，处理换行符
    all_lines = [line.rstrip('\n') for line in sys.stdin]
    if not all_lines:
        return

    # 处理第一行输入
    print(f'[p] {all_lines[0]}')

    # 将第二行作为输入传递给shell命令
    if len(all_lines) >= 2:
        # 通过input参数给shell传输入，避免读取共享stdin
        result = subprocess.run(
            ['bash', '-c', 'read one; echo "[s] $one"'],
            input=f'{all_lines[1]}\n',
            text=True,
            stdout=subprocess.PIPE
        )
        print(result.stdout, end='')

    # 处理第三行输入
    if len(all_lines) >= 3:
        print(f'[p] {all_lines[2]}')

if __name__ == '__main__':
    main()

方案2：流式读取，手动给subprocess传输入

如果输入是大文件，不想一次性加载到内存，可以每次先读取需要给subprocess的内容，再通过input参数传递，避免subprocess去读共享的stdin：

import sys
import subprocess

def main():
    # 读取第一行
    line = sys.stdin.readline()
    if not line:
        return
    print(f'[p] {line}', end='')

    # 读取第二行，作为subprocess的输入
    sub_input = sys.stdin.readline()
    subprocess.run(
        'read one; echo "[s] $one"',
        shell=True,
        input=sub_input,
        text=True
    )

    # 读取第三行
    line = sys.stdin.readline()
    if line:
        print(f'[p] {line}', end='')

if __name__ == '__main__':
    main()

原理说明 #

当你用input参数给subprocess.run()传递数据时，subprocess会从这个专门的输入流读取，而不是和Python共享原始的stdin。这样就彻底避免了两个进程抢读同一个缓冲的问题，输入流向完全由你手动控制，就能得到预期的输出：

[p] a
[s] b
[p] c

内容的提问来源于stack exchange，提问作者zale