使用Python subprocess的PIPE捕获持续运行程序输出时的问题

1. 测试用C程序（test.c） #

#include <stdio.h>
#include <unistd.h>  // 注：原代码缺少sleep函数的头文件，编译时会触发警告

int main(void)
{
    while(1)
    {
        printf("Hello World!\n");
        sleep(1);
    }
    return 0;
}

2. 编译命令 #

使用gcc编译程序：

gcc -g -o test test.c

3. 直接运行程序的输出 #

直接执行可看到正常循环输出：

./test 
Hello World!
Hello World!
Hello World!
^C

4. subprocess捕获输出为空的问题 #

测试Python代码（test.py） #

import subprocess
import shlex

cmd = "./test"
def run_command(command):
    cmds = shlex.split(cmd)
    print(cmds)
    proc = subprocess.Popen(cmds, stdout=subprocess.PIPE)
    try:
        outs, errs = proc.communicate(timeout=15)
    except subprocess.TimeoutExpired:
        proc.kill()
        outs, errs = proc.communicate()
    print(outs)
    
run_command(cmd)

运行结果 #

输出为空：

python3 test.py 
['./test']
b''

5. gdb调试时无法捕获程序输出的问题 #

将Python代码中的cmd = "./test"替换为cmd = "gdb -x load ./test"（load文件包含run命令），运行后仅输出gdb自身信息，无目标程序输出：

python3 test.py 
['gdb', '-x', 'load', './test']
b'GNU gdb (Ubuntu 12.1-0ubuntu1~22.04) 12.1
Copyright (C) 2022 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<https://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
    <http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from ./test...
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
'

问题原因与解决方法 #

问题1：subprocess捕获输出为空 #

原因：标准输出默认采用行缓冲模式，当输出目标是管道而非终端时，缓冲区不会自动刷新，导致communicate()无法读取到内容。

解决方法：

• 方法一：修改C程序，强制刷新标准输出：

  printf("Hello World!\n");
  fflush(stdout);  // 添加此行强制刷新缓冲区
  

• 方法二：通过stdbuf命令禁用输出缓冲，修改Python中的命令：

  cmd = "stdbuf -o0 ./test"
  

• 方法三：在subprocess.Popen中设置bufsize=0（无缓冲），但兼容性不如前两种方法。

问题2：gdb调试时无法捕获程序输出 #

原因：gdb默认会将被调试程序的输出重定向到自身会话，非交互式运行时可能未将程序输出转发到标准输出。

解决方法：

• 修改load文件，确保gdb打印程序输出并自动退出：

  set pagination off  # 禁用分页
  set print pretty off  # 简化输出格式
  run  # 启动程序
  quit  # 程序终止后退出gdb
  

• 或直接在命令行指定gdb执行参数，无需额外load文件：

  cmd = "gdb -ex 'run' -ex 'quit' --args ./test"
  

内容的提问来源于stack exchange，提问作者JKJ