Windows下如何通过subprocess.run获取子进程标准输出的精确字节？

问题现象 #

在Windows系统的子进程中，使用print输出包含\r\n的内容时，流中会出现额外的\r字符。即使设置了subprocess.run的text=False（二进制模式），仍无法获取精确的输出字节——只有直接向sys.stdout.buffer写入字节时才能得到预期结果，但代码库中大量使用print，希望无需修改现有代码即可捕获无额外字符的输出。

示例代码如下：

if __name__ == "__main__":
    import sys
    args = sys.argv[1:]
    if "-" not in sys.argv[1:]:
        import subprocess

        result = subprocess.run(
            [sys.executable, __file__, "-"], capture_output=True, text=False
        )
        output = result.stdout
        assert (
            output == b"line1\r\nline2\r\nline3\nline1\r\nline2\r\nline3\n"
        ), f"Found: {output!r}"

    else:
        sys.stdout.write("line1\r\nline2\r\nline3\n")
        sys.stdout.buffer.write(b"line1\r\nline2\r\nline3\n")

不同环境下输出差异：

• IDE（PyDev/PyCharm）：断言失败，输出为b'line1\r\r\nline2\r\r\nline3\r\nline1\r\nline2\r\nline3\n'（sys.stdout.write的内容被添加额外\r）
• 真实终端：断言失败，输出为b'line1\r\nline2\r\nline3\nline1\r\r\nline2\r\r\nline3\r\n'（sys.stdout.buffer.write的内容被添加额外\r）

原因分析 #

1. Python文本模式的行转换：Windows系统中，当Python的sys.stdout被识别为文本流（默认情况），会自动将文本中的\n转换为Windows标准行末符\r\n。如果输出中已经包含\r\n，就会被二次转换为\r\r\n。
2. 终端与IDE的输出处理差异：
   • IDE环境：子进程的stdout并非连接到真实终端，Python会启用文本模式的强制行转换，导致sys.stdout.write的文本内容被额外处理。
   • 真实终端：Windows控制台本身会对二进制输出中的\n进行行转换（转为\r\n），因此直接写入sys.stdout.buffer的\n会被终端添加额外\r；而sys.stdout的文本输出因为Python已经处理过行转换，终端不会重复处理。

解决方案 #

方案1：在子进程中强制设置stdout为无转换的文本模式 #

在子进程代码开头添加配置，让文本输出不自动转换行末符，无需修改现有print调用：

import sys
import io

# 重新包装stdout，禁用行末自动转换
sys.stdout = io.TextIOWrapper(
    sys.stdout.buffer,
    newline='\n',  # 输出时保留原文本的行末符，不转换为\r\n
    write_through=True  # 立即写入，避免缓冲导致的额外处理
)

修改后的完整示例代码：

if __name__ == "__main__":
    import sys
    args = sys.argv[1:]
    if "-" not in sys.argv[1:]:
        import subprocess

        result = subprocess.run(
            [sys.executable, __file__, "-"], capture_output=True, text=False
        )
        output = result.stdout
        assert (
            output == b"line1\r\nline2\r\nline3\nline1\r\nline2\r\nline3\n"
        ), f"Found: {output!r}"

    else:
        import io
        # 配置stdout禁用行转换
        sys.stdout = io.TextIOWrapper(
            sys.stdout.buffer,
            newline='\n',
            write_through=True
        )
        sys.stdout.write("line1\r\nline2\r\nline3\n")
        sys.stdout.buffer.write(b"line1\r\nline2\r\nline3\n")

方案2：通过环境变量配合子进程配置 #

在父进程启动子进程时，设置PYTHONUNBUFFERED=1环境变量避免缓冲，同时结合方案1的子进程内部配置，进一步确保输出稳定：

# 父进程代码中修改subprocess.run调用
import os
result = subprocess.run(
    [sys.executable, __file__, "-"],
    capture_output=True,
    text=False,
    env={**os.environ, "PYTHONUNBUFFERED": "1"}
)

验证结果 #

修改后运行示例代码，无论是IDE还是终端环境，断言都会通过，输出与预期完全一致：b'line1\r\nline2\r\nline3\nline1\r\nline2\r\nline3\n'

内容的提问来源于stack exchange，提问作者Fabio Zadrozny