Python脚本捕获命令输出流问题：执行Python命令时异常

嗨，这个问题我之前踩过坑！核心原因其实是Python的输出缓冲机制在搞怪，咱们一步步来解决：

为什么常规shell脚本没问题，Python命令就出异常？ #

Python默认会对stdout和stderr做缓冲优化：当输出目标是终端时，用的是行缓冲（输出一行就刷新一次）；但当输出被其他进程捕获时（比如你的capture_output.py），就会切换成块缓冲——也就是攒够一大块数据才会输出，这就导致你的捕获脚本要么拿不到实时输出，要么进程结束后才一次性拿到内容，看起来就像“异常”。而普通shell脚本大多默认是行缓冲，所以没这个问题。

几个实用的解决方案 #

1. 给子Python命令加-u参数（最快捷）

直接在你要捕获的Python命令前加上-u，强制禁用输出缓冲：

python capture_output.py "python -u your_long_running_py_script.py"

-u参数会让Python的标准流变成无缓冲模式，这样输出会实时被你的捕获脚本拿到。

2. 在目标Python脚本里手动控制缓冲

如果没法加-u（比如脚本是第三方的），可以在目标脚本里调整缓冲：

• 每次print的时候强制刷新：

  print("实时输出内容", flush=True)
  

• 全局设置成行缓冲：

  import sys
  # 重新打开stdout，设置缓冲为1（行缓冲）
  sys.stdout = open(sys.stdout.fileno(), 'w', buffering=1)
  sys.stderr = open(sys.stderr.fileno(), 'w', buffering=1)
  

3. 检查捕获脚本的读取逻辑

确保你的capture_output.py是实时逐行读取流，而不是等进程结束再一次性读取。比如用subprocess.Popen时，要循环读取每一行，而且如果要同时捕获stdout和stderr，最好用线程并行处理，避免阻塞：

import subprocess
import sys
import threading

def handle_stream(stream, callback):
    for line in stream:
        callback(line.strip())

def stdout_handler(line):
    print(f"[STDOUT] {line}")

def stderr_handler(line):
    print(f"[STDERR] {line}")

if __name__ == "__main__":
    # 建议直接传命令列表，避免shell解析的引号问题
    cmd = sys.argv[1:]
    proc = subprocess.Popen(
        cmd,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True  # 直接读取字符串而非字节
    )

    # 启动线程分别处理stdout和stderr
    stdout_thread = threading.Thread(target=handle_stream, args=(proc.stdout, stdout_handler))
    stderr_thread = threading.Thread(target=handle_stream, args=(proc.stderr, stderr_handler))
    
    stdout_thread.start()
    stderr_thread.start()
    
    stdout_thread.join()
    stderr_thread.join()
    
    proc.wait()

另外，尽量避免把整个命令作为字符串传递（比如"python ..."），而是直接传命令参数列表（sys.argv[1:]），这样能避免shell解析时的引号转义问题。

内容的提问来源于stack exchange，提问作者martync