os/exec中exec.Cmd管道通信的异常行为排查

Go程序 start_python_process.go #

package main

import (
    "fmt"
    "log"
    "os/exec"
)

func main() {
    cmd := exec.Command("python", "python_process.py")
    output, err := cmd.StdoutPipe()
    if err != nil {
        log.Fatal(err)
    }

    input, err := cmd.StdinPipe()
    if err != nil {
        log.Fatal(err)
    }

    err = cmd.Start()
    if err != nil {
        log.Fatal(err)
    }

    bytes_written, err := input.Write([]byte("Welcome, Python.\nSeriously.\nWelcome to the world of lightweight concurrency with easy to understand, well-defined semantics. And congratulations on shipping optional GIL in Python 3.13!\n"))

    if err != nil {
        log.Fatal(err)
    }

    /* err = input.Close()
    if err != nil {
        log.Fatal(err)
    }*/

    fmt.Printf("bytes written %v\n", bytes_written)

    buffer := make([]byte, 7)

    bytes_read, err := output.Read(buffer)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(string(buffer))
    fmt.Printf("bytes read %v\n", bytes_read)

    cmd.Wait()
}

Python程序 python_process.py #

import sys
with open("debug_file", "w") as f:
    for line in sys.stdin:
        line = line.rstrip()
        print(line)
        print(line, file=f)

问题现象 #

执行go run start_python_process.go时，预期Go程序写入186字节后，会阻塞等待Python回显首个7字节内容，之后因stdin未关闭持续阻塞。但实际：

• Go程序在output.Read处无限阻塞
• debug_file为空；发送中断信号后，文件才被完整写入预期内容

疑问 #

我原以为cmd.StdinPipe()返回的io.Writer无缓冲（不同于带Flush的bufio.Writer），怀疑是Write函数缓冲数据直到中断才传递给Python。这是Go的Bug还是我的理解有误？

环境：MacOS，Go版本go1.23.0 darwin/amd64

原因分析 #

这不是Go的Bug，问题根源在Python的缓冲机制和行读取逻辑：

1. Python行读取与缓冲：for line in sys.stdin默认等待完整行输入，且Python的stdin/stdout默认采用行缓冲模式——只有当输入遇到换行符、缓冲区满或stdin被关闭时，才会将数据从内核缓冲区推送到Python用户态并处理。Go虽写入了带换行符的数据，但未关闭stdin，Python会持续等待更多输入，导致数据未被及时处理。
2. 文件写入延迟：Python的文件操作同样有缓冲，print(line, file=f)的内容会暂存在用户态缓冲，只有当with块结束（进程退出或stdin关闭）时才会写入磁盘，这就是中断后debug_file才出现内容的原因。
3. 内核管道缓冲：管道本身存在内核级缓冲，若写入数据量未达阈值，内核不会立即唤醒读取端进程，进一步加剧了延迟。

解决方法 #

可以通过以下方式修复：

• 关闭Go端stdin：取消代码中input.Close()的注释，Python收到EOF后会处理完所有输入行，同时触发debug_file的写入。
• Python端手动刷新缓冲：在输出和文件写入后添加flush操作，确保内容实时推送：

  import sys
  with open("debug_file", "w") as f:
      for line in sys.stdin:
          line = line.rstrip()
          print(line)
          sys.stdout.flush()  # 实时刷新管道输出
          print(line, file=f)
          f.flush()  # 实时写入文件
  

• 禁用Python缓冲：启动Python时添加-u参数，强制无缓冲IO：

  cmd := exec.Command("python", "-u", "python_process.py")
  

内容的提问来源于stack exchange，提问作者Adam Kurkiewicz