Python中解决多子进程向stdout写入的输出冲突问题

核心原因 #

多个子进程直接写入共享的stdout时，若子进程的输出未保证行级原子性，操作系统的调度可能导致不同进程的写入操作交错，破坏行的完整性。即使单条write调用在小于PIPE_BUF（通常4096字节）时是原子的，但若子进程使用块缓冲（而非行缓冲），会将多行打包成一次write，或未及时刷新缓冲，仍可能引发乱序。

解决方案 #

1. 让子进程保证行输出的原子性 #

修改子进程的输出逻辑，确保每行输出后立即刷新缓冲，强制将单行作为独立的写入操作：

• Python子进程：使用print(line, flush=True)替代默认print，或显式调用sys.stdout.flush()；
• C/C++子进程：调用fflush(stdout)在每行输出后刷新，或用setvbuf(stdout, NULL, _IOLBF, 0)设置行缓冲；
• Shell脚本：使用stdbuf -oL your_command强制开启行缓冲，避免块缓冲。

这种方式依赖子进程的代码修改，若无法修改子进程，可采用父进程统一处理的方案。

2. 父进程统一收集并输出 #

不让子进程直接写入stdout，而是将每个子进程的stdout重定向到管道，由父进程通过线程/异步IO读取每行内容，再统一打印到stdout。由于父进程的打印操作是单线程有序执行（CPython中print受GIL保护，线程安全），可避免行交错。

示例代码（Python）：

import subprocess
import threading

def read_and_forward(process):
    # 逐行读取子进程输出，保持原换行符
    for line in iter(process.stdout.readline, b''):
        print(line.decode('utf-8'), end='')

# 启动子进程，重定向stdout到管道
proc1 = subprocess.Popen(['your_command_1'], stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
proc2 = subprocess.Popen(['your_command_2'], stdout=subprocess.PIPE, stderr=subprocess.STDOUT)

# 为每个子进程启动读取线程
t1 = threading.Thread(target=read_and_forward, args=(proc1,))
t2 = threading.Thread(target=read_and_forward, args=(proc2,))

t1.start()
t2.start()

# 等待线程和子进程结束
t1.join()
t2.join()
proc1.wait()
proc2.wait()

3. 为输出添加进程标识（辅助区分） #

若允许少量行乱序但需区分来源，可在父进程打印时为每行添加子进程的标识前缀（如进程ID）：

def read_and_forward(process):
    proc_id = process.pid
    for line in iter(process.stdout.readline, b''):
        print(f"[{proc_id}] {line.decode('utf-8')}", end='')

内容的提问来源于stack exchange，提问作者Guillaume Adam