Shell中如何避免重复启动程序，完成多列数据流的分程序处理需求？

这个问题的核心痛点就是避免重复启动开销大的程序，原来的逐行循环方案每次处理一行都要重新拉起prog1和prog2，完全没利用到Unix管道流式处理的优势。

给你一个简洁高效的解决方案，全程只启动所有程序一次，完美适配流式处理需求：

paste <(cut -f1) <(cut -f2- | prog1) | prog2

思路拆解 #

• cut -f1：从输入数据流中提取第一列，作为独立的流式输出。
• cut -f2- | prog1：提取后两列直接喂给prog1，prog1全程保持运行处理整个数据流，输出单列结果。
• paste：把第一列的数据流和prog1的输出按行一一对应合并（因为两个数据流都是按原输入顺序处理的，行对齐完全没问题），得到prog2需要的两列输入。
• 最后把合并后的数据流传给prog2，prog2同样全程运行处理所有数据。

如果你的列拆分逻辑更复杂（比如需要处理特殊字符、空列等），可以把cut换成awk来实现更灵活的列提取：

awk -F'\t' '{print $1}' | paste - <(awk -F'\t' '{print $2 "\t" $3}' | prog1) | prog2

这个方案完全符合你的要求：既保证了prog1和prog2只启动一次，又正确完成了列的拆分、处理和合并流程。

内容的提问来源于stack exchange，提问作者Ch'en Meng