如何按行读取shell命令的流式输出？是否有更高级处理库？

用Go标准库直接搞定 #

Go标准库早就有现成的按行读取工具，不用额外装依赖。你可以把os/exec和bufio.Scanner结合起来用，bufio.Scanner就是专门处理按行读取的，它会自动识别换行符分割内容，完全不用管固定缓冲区的问题，完美适配流式输出场景。

给你写个示例代码：

package main

import (
    "bufio"
    "fmt"
    "os/exec"
)

func main() {
    // 启动目标命令
    cmd := exec.Command("journalctl", "-f", "-o", "json")
    stdout, err := cmd.StdoutPipe()
    if err != nil {
        fmt.Printf("创建标准输出管道失败: %v\n", err)
        return
    }
    defer stdout.Close()

    // 启动命令
    if err := cmd.Start(); err != nil {
        fmt.Printf("启动命令失败: %v\n", err)
        return
    }

    // 用bufio.Scanner按行扒输出
    scanner := bufio.NewScanner(stdout)
    for scanner.Scan() {
        line := scanner.Text()
        // 这里写你对每一行的处理逻辑，比如解析JSON
        fmt.Printf("拿到一行: %s\n", line)
    }

    // 检查扫描过程中有没有出错
    if err := scanner.Err(); err != nil {
        fmt.Printf("读取输出时出错: %v\n", err)
    }

    // 等命令跑完
    if err := cmd.Wait(); err != nil {
        fmt.Printf("命令异常退出: %v\n", err)
    }
}

几个关键点 #

• bufio.Scanner默认按\n分割行，要是需要处理Windows的\r\n或者其他分隔符，用scanner.Split()自定义分割规则就行。
• 碰到超长行（超过默认的64KB缓冲区），可以用scanner.Buffer()调大缓冲区，避免扫描失败。

可选的高级库 #

如果要搞更复杂的流处理，比如并发处理、错误重试或者更快的JSON解析，可以试试这些库：

• github.com/juju/ratelimit：要是怕处理速度跟不上输出，用这个控制读取速率。
• github.com/segmentio/encoding/json：解析JSON行的话，这个库比标准库的encoding/json性能更高。

但说实话，大多数场景下，标准库的bufio.Scanner完全够用，没必要额外加依赖。

内容的提问来源于stack exchange，提问作者WoJ