Docker容器中Python subprocess实时输出异常问题及解决方法

我最近也踩过完全一样的坑——不管是用subprocess.Popen跑本地命令，还是通过Docker SDK运行容器，终端都卡得要死，所有输出非得等进程彻底结束才一次性蹦出来，连最开头的print('start')都要等到最后才显示，太影响调试了！结合你的代码和环境（Ubuntu 18.04、Python 3.6.7、Docker 18.09.6），我来拆解下问题根源和对应的解决办法：

一、本地subprocess的实时输出问题（test()函数） #

问题根源 #

Python的stdout默认是块缓冲模式，当输出不是直接指向终端（比如通过subprocess.PIPE捕获）时，系统会把输出攒成大块再一次性输出；另外，子进程（比如pytest）本身的输出也会因为同样的缓冲机制被卡住，导致所有内容都要等进程结束才会打印。

解决办法 #

调整subprocess的参数，强制启用行缓冲，同时确保自身脚本的输出无缓冲：

1. 给subprocess.Popen添加bufsize=1参数（行缓冲），配合universal_newlines=True（或者Python3.7+用text=True），让stdout按行实时输出；同时给开头的print加上flush=True，避免自身输出被缓冲：

def test():
    print('start', flush=True)  # 强制刷新自身输出，避免开头的print被缓冲
    # pytest加-s禁用捕获输出，进一步确保实时显示
    process = subprocess.Popen(
        'pytest -s',
        stdout=subprocess.PIPE,
        universal_newlines=True,
        bufsize=1
    )
    for line in iter(process.stdout.readline, ''):
        print(">>> {}".format(line.rstrip()))

2. 或者直接用python -u运行你的脚本，强制全局无缓冲输出，这样所有print内容都会立刻显示。

二、Docker容器的实时输出问题（docker()函数） #

问题根源 #

你最初用stream=True还是卡顿，主要有两个原因：

• 容器内的Python进程默认也是缓冲输出，内容没有实时发送到Docker日志系统；
• 非detach模式下，client.containers.run会等待容器进程结束才返回日志流，自然没法实时输出。

解决办法 #

你找到的方案完全正确，我再补充下背后的逻辑：

1. 用python -u启动容器内的脚本：-u参数强制Python的stdout/stderr使用无缓冲模式，确保容器内的输出能实时推送到Docker日志；
2. 以detach=True启动容器，再通过container.logs(stream=True)实时拉取日志：这种方式让容器后台运行，Docker SDK会持续从容器的日志流中读取内容，实现实时打印。

修改后的最终代码：

def docker():
    client = docker.from_env()
    # 用python -u强制无缓冲输出
    command = 'python -u this_script.py --test'
    # detach=True让容器后台运行
    container = client.containers.run(
        'python:3', 
        command, 
        remove=True, 
        init=True, 
        working_dir='/test', 
        detach=True
    )
    # 通过logs(stream=True)实时获取容器日志
    for log in container.logs(stdout=True, stderr=True, stream=True):
        print('>>> {}'.format(log))

额外小贴士 #

如果是在容器里运行非Python命令（比如shell脚本），也要确保命令本身的输出无缓冲：

• 比如bash脚本可以在开头加set -u，或者用stdbuf -oL命令包裹要运行的程序（比如stdbuf -oL pytest）强制行缓冲输出。

内容的提问来源于stack exchange，提问作者Cardella