如何在Bash中高效提取指定字符串行、保存并统计匹配行数

不用bash while循环的话，用grep或awk这类原生文本处理工具效率高得多——它们是C语言实现的批量处理逻辑，没有shell逐行循环的额外开销，完全适配大文件场景。以下是具体实现：

方法一：用grep + tee（一次遍历完成写入和统计） #

假设要匹配的目标字符串是load average，执行以下命令：

grep "load average" input.txt | tee -a output.txt | wc -l

• grep "load average" input.txt：从输入文件input.txt中筛选出包含目标字符串的行
• tee -a output.txt：将筛选结果追加到output.txt（-a表示追加，不加会直接覆盖原有内容）
• wc -l：实时统计匹配到的总行数并输出

如果需要把统计结果保存到变量，或者同时打印提示信息，可以这样写：

match_count=$(grep "load average" input.txt | tee -a output.txt | wc -l)
echo "共匹配到 $match_count 行"

方法二：用awk（一次完成所有操作，更灵活） #

awk能在单次遍历中完成匹配、写入文件和计数，适合需要自定义逻辑的场景：

awk '/load average/ {
    print >> "output.txt"  # 追加匹配行到目标文件
    count++                # 累加匹配行数
} END {
    print "匹配总行数: " count  # 文件处理完成后输出最终统计结果
}' input.txt

• /load average/：匹配包含目标字符串的行
• print >> "output.txt"：将匹配行追加到output.txt
• count++：每匹配一行就增加计数
• END块：整个文件遍历结束后执行，输出统计总数

为什么比while循环快？ #

bash的while逐行处理会频繁触发shell进程调度、重复执行I/O操作，每一行都有额外开销；而grep/awk是原生编译的工具，内部用高效的批量文本处理逻辑，一次遍历就能完成所有操作，处理大文件时速度差距会非常显著。

内容的提问来源于stack exchange，提问作者user13846745