如何用grep命令将程序的stdout拆分为多流以处理不同表格数据？

核心思路 #

利用tee命令的进程替换（或命名管道）功能，将程序的stdout同时分发至多个grep进程，每个grep根据表格特征筛选对应格式的行，从而得到独立的CSV流，无需重复运行程序或统一数据格式。

方法一：使用bash进程替换（推荐） #

假设你的程序为your_program，不同格式的表格可通过特征行区分（比如表头以特定前缀开头），示例命令如下：

./your_program | tee >(grep -E '^FormatA,|^[a-zA-Z0-9_,]+$' > format_a.csv) >(grep -E '^FormatB,|^[0-9_,]+$' > format_b.csv) > /dev/null

命令解释：

• ./your_program：运行目标程序，输出原始表格数据至stdout
• tee >(...) >(...)：通过进程替换，将stdout复制到两个独立的grep进程
• 每个grep的正则表达式：需根据实际表格特征调整，示例中^FormatA,匹配格式A的表头，^[a-zA-Z0-9_,]+$匹配对应的数据行；同理处理格式B
• >/dev/null：避免原始输出重复打印到终端，若需保留原始输出可删除此部分

如果需要让其他程序实时读取流而非写入文件，可直接对接管道：

./your_program | tee >(grep -E '^FormatA,|^[a-zA-Z0-9_,]+$' | process_a) >(grep -E '^FormatB,|^[0-9_,]+$' | process_b) > /dev/null

方法二：使用命名管道（兼容非bash环境） #

若使用不支持进程替换的shell（如sh），可通过命名管道实现：

1. 创建两个命名管道：

mkfifo pipe_a pipe_b

2. 启动后台grep进程监听管道，输出到对应CSV：

grep -E '^FormatA,|^[a-zA-Z0-9_,]+$' < pipe_a > format_a.csv &
grep -E '^FormatB,|^[0-9_,]+$' < pipe_b > format_b.csv &

3. 运行程序并通过tee分发输出到管道：

./your_program | tee pipe_a pipe_b > /dev/null

4. 处理完成后删除管道：

rm pipe_a pipe_b

关键注意事项 #

• 正则表达式需精准匹配目标表格的所有行（表头+数据），避免漏选或误选
• 若表格无明确前缀，可通过列数、数据类型特征（如某列固定为数字）编写正则
• 进程替换仅在bash、zsh等shell中支持，跨环境优先选择命名管道方案

内容的提问来源于stack exchange，提问作者nisah