多Awk管道引发无限循环：批量处理模拟输出文件求助

问题描述 #

我正在处理一份包含模拟运行信息的日志文件，日志里记录了多个输出文件标识，示例如下：

output1.dat did something
output2.dat did something else

我需要提取这些文件名，以便对output1.dat、output2.dat等文件内的数据进行操作。单独执行以下命令可得到预期结果：

awk 'BEGIN{cnt=0} {cnt++} (cnt==100){print($1)}' output1.dat

但我希望通过管道批量传递文件名，避免手动输入，于是执行了以下命令：

grep 'stuff.*requirements' logfile_for_all_outputs.log | tail -n 10 | awk '{print($4)}' | awk '{print($1)}'

倒数第二个awk会输出文件名列表：

output1.dat
output2.dat
output3.dat
...

我原本以为最后一个awk会逐个处理这些文件，但实际却出现无限循环，且最后一个awk中的$1仍是文件名列表，而非文件内容。

错误原因与解决方法 #

错误原因 #

当你通过管道把文件名传给最后一个awk时，awk默认会将管道输入的内容当作待处理的文本内容，而不是要打开读取的文件名。也就是说，最后一个awk并没有去读取output1.dat这类文件的内容，而是一直在循环处理你传入的文件名列表，自然无法得到文件内第100行的数据，甚至会因为没有终止信号出现无限循环。

解决方法 #

要实现批量处理这些文件，需要把文件名作为命令参数传给awk，而非通过管道输入。可以用xargs来实现这一点：

grep 'stuff.*requirements' logfile_for_all_outputs.log | tail -n 10 | awk '{print($4)}' | awk '{print($1)}' | xargs awk 'BEGIN{cnt=0} {cnt++} cnt==100{print $1}'

你还可以简化前面的awk步骤，合并成一个awk命令减少管道层级：

grep 'stuff.*requirements' logfile_for_all_outputs.log | tail -n 10 | awk '{print $4}' | xargs awk 'BEGIN{cnt=0} {cnt++} cnt==100{print $1}'

另外，也可以使用awk内置的getline函数来读取指定文件，但xargs是更直观、通用的批量处理文件参数的方式。

内容的提问来源于stack exchange，提问作者AtmosphericPrisonEscape