如何使用ProcessBuilder重定向Python脚本输出到日志文件

问题根因 #

该问题的核心原因是Python默认输出缓冲机制导致的：

• 当Python进程的输出目标是终端（对应使用inheritIO的场景），Python默认开启行缓冲，每打印一行就会把缓冲区内容刷到输出流
• 当输出目标是文件或者管道时，Python默认开启块缓冲，只有缓冲区攒满（通常为几KB）或者进程退出时才会把内容刷到输出。由于你的进程长期运行不终止，内容一直卡在Python的缓冲区没有传递给Java进程，自然无法写入日志文件。

解决方案 #

方案1：修改Python启动参数（无需改动Python代码，最推荐） #

给Python解释器添加-u启动参数，强制关闭标准输出、标准错误的缓冲，所有内容实时输出。
你只需要调整你的ProcessBuilder构造逻辑，把-u加到Python命令的参数最前面即可：

File log = createLog(name);
File environment = new File(path);
// 假设原来的exe是"python"或"python3"，把-u作为第一个参数传入
Process process = new ProcessBuilder("python", "-u", cmd, args)
        .redirectOutput(log)
        .redirectErrorStream(true) // 把错误输出也合并到标准输出，避免漏掉报错日志
        .directory(environment)
        .start();

方案2：修改Python代码调整缓冲策略 #

如果不方便修改启动参数，可以在Python代码中调整输出缓冲逻辑：

• 针对print调用，添加flush=True参数：

  print("需要输出的日志内容", flush=True)
  

• 全局修改标准输出为行缓冲（Python3.7+支持）：

  import sys
  sys.stdout.reconfigure(line_buffering=True)
  sys.stderr.reconfigure(line_buffering=True)
  

• 旧版本Python可以用以下方式修改：

  import sys
  import os
  # 参数1代表行缓冲
  sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', 1)
  sys.stderr = os.fdopen(sys.stderr.fileno(), 'w', 1)
  

方案3：Java侧手动读取流写入日志（灵活可控） #

如果你需要在Java侧对日志做额外处理，可以不用ProcessBuilder自带的redirectOutput，自己启动独立线程读取进程的输出流，实时写入文件：

File log = createLog(name);
File environment = new File(path);
Process process = new ProcessBuilder("python", "-u", cmd, args)
        .redirectErrorStream(true)
        .directory(environment)
        .start();

// 启动单独线程处理输出流写入，避免阻塞业务主线程
new Thread(() -> {
    try (InputStream inputStream = process.getInputStream();
         BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
         BufferedWriter writer = new BufferedWriter(new FileWriter(log, true))) {
        String line;
        while ((line = reader.readLine()) != null) {
            writer.write(line);
            writer.newLine();
            writer.flush(); // 每次写入后手动刷到文件
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}).start();

内容的提问来源于stack exchange，提问作者viloz