subprocess写入stdout到文件被截断为4096字节问题求助

首先排除管道大小限制 #

你当前的subprocess.Popen调用直接将stdout指向了打开的文件对象，没有使用stdout=subprocess.PIPE，因此和系统管道缓冲区限制完全无关。4096字节的截断点来自被调用程序的用户态stdout缓冲区：绝大多数程序在检测到stdout不是交互式终端时，会默认使用4K大小的全缓冲机制，只有缓冲区满的时候才会将内容写入磁盘，你提前终止进程时，缓冲区中未刷入磁盘的内容会直接丢失。

你之前尝试刷新父进程的文件对象完全无效，因为这个缓冲区属于子进程的独立地址空间，父进程无法直接操作。

额外检查：确保你启动子进程的with open代码块，不会在子进程运行期间提前退出，避免父进程侧的文件句柄提前释放带来的异常。

对应解决方案 #

方案1：调整被调用程序的缓冲策略（最可靠） #

如果被调用的程序是你自己可修改的：

• C/C++程序：启动时添加setvbuf(stdout, NULL, _IOLBF, 0)，强制stdout使用行缓冲
• Python程序：启动时添加-u参数，或者设置环境变量PYTHONUNBUFFERED=1
• 其他语言可查询对应关闭stdout全缓冲的配置方式

方案2：用伪终端运行子进程（无需修改被调用程序） #

程序检测到stdout是终端设备时，会自动切换为行缓冲模式，不会攒满4K才写入。你可以用伪终端（pty）替代普通文件传递给子进程：

import pty
import os

master_fd, slave_fd = pty.openpty()
with open("newfile.txt", "w") as f:
    proc = subprocess.Popen([find_executable(bin_name), *extra_args],
                          stdout=slave_fd, stderr=subprocess.DEVNULL)
    os.close(slave_fd)
    # 单独起线程/协程读master_fd的内容写入文件
    while True:
        try:
            data = os.read(master_fd, 1024)
            if not data:
                break
            f.write(data.decode())
            f.flush()
        except OSError:
            break

方案3：优化进程终止逻辑 #

优先给进程发送更温和的信号，给进程留足清理缓冲区的时间：

• 优先发SIGINT（等价于Ctrl+C）替代SIGTERM，大部分程序收到SIGINT会主动做清理退出
• 适当延长process.wait的超时时间，不要直接触发kill，SIGKILL信号会强制终止进程，完全没有机会执行冲刷缓冲区的清理逻辑

内容的提问来源于stack exchange，提问作者Indigo