Go语言调用外部命令偶发输出丢失问题排查求助

你遇到的输出丢失问题，核心原因是goroutine启动时机和命令执行速度的竞态——虽然没有内存竞争（所以-race检测不出来），但存在执行顺序的竞争。

为什么会丢输出？ #

你的代码里，cmd.Start()是在goroutine启动之前调用的：

cmd.Start() // 命令立刻启动，echo "1"执行极快，可能瞬间完成
stdoutScanner := bufio.NewScanner(stdout)
// ... 然后才启动goroutine

在某些循环迭代中，echo "1"会在goroutine开始执行stdoutScanner.Scan()之前就完成运行，此时stdout管道已经被关闭。当goroutine终于开始扫描时，管道里已经没有数据可读，自然就不会输出[stdout] 1。

这种竞态只会出现在短生命周期的进程上，因为长生命周期进程有足够时间让goroutine启动并开始读取。

修复方案：调整启动顺序 #

解决方法很简单：先启动负责读取的goroutine，再启动命令。这样能保证goroutine已经在等待读取数据，命令启动后的输出会被立刻捕获。

修复后的代码如下：

package main

import (
	"bufio"
	"log"
	"os/exec"
	"sync"
)

func main() {
	for i := 0; i < 50000; i++ {
		log.Println("Loop")
		var wg sync.WaitGroup
		cmd := exec.Command("echo", "1")
		stdout, err := cmd.StdoutPipe()
		if err != nil {
			panic(err)
		}

		stdoutScanner := bufio.NewScanner(stdout)
		stdoutScanner.Split(bufio.ScanLines)

		// 先启动goroutine，再启动命令
		wg.Add(1)
		go func() {
			defer wg.Done()
			for stdoutScanner.Scan() {
				line := stdoutScanner.Text()
				log.Printf("[stdout] %s\n", line)
			}
			// 检查scanner读取过程中的错误
			if err := stdoutScanner.Err(); err != nil {
				log.Printf("stdout scanner error: %v", err)
			}
		}()

		// 现在启动命令
		if err := cmd.Start(); err != nil {
			panic(err)
		}
		// 等待命令执行完成
		if err := cmd.Wait(); err != nil {
			log.Printf("command error: %v", err)
		}
		// 等待goroutine读取完成
		wg.Wait()
	}
}

额外注意事项 #

1. 错误处理：添加了stdoutScanner.Err()的检查，避免因为读取错误导致的输出丢失（虽然这个例子里概率很低，但生产环境中很重要）。
2. stderr处理：如果需要同时处理stderr，遵循同样的逻辑：先创建StderrPipe、scanner，启动对应的goroutine，再启动命令。
3. 为什么-race没检测到：Race detector只检测共享内存的竞争，而这个问题是goroutine调度顺序的竞态，不属于内存竞争范畴，所以不会被报告。

内容的提问来源于stack exchange，提问作者1flx