如何高效获取未完成状态的多日志文件最后一行？

问题背景 #

我有多个子目录，每个目录下都有一个log.out日志文件。仅需检查未处于“completed”状态的日志文件——已完成的日志文件最后一行包含“completed”字样。这些日志文件可能很大（10000+行），因此用grep遍历整个文件不是理想方案。我希望打印每个未完成日志文件的最后一行。

目前使用的命令为：

find ~+ -iname "log.out" -exec printf '%s\0' {} \; | xargs -0 grep -L completed | xargs tail -n 1

该命令可用，但随着子目录和日志文件数量增加会变慢，请问有没有更优方案？

示例场景：

• ./test1/log.out最后一行：...status:completed:
• ./test2/log.out最后一行：...status:95%
• ./test3/log.out最后一行：...status:93%

期望输出：

./test2/log.out  status:95%
./test3/log.out  status:93%

优化方案 #

原命令低效的核心原因是grep -L completed会遍历整个文件查找匹配项，大文件下IO开销极大。优化思路改为仅读取每个文件的最后一行做判断，避免不必要的IO操作。

方案1：awk单进程处理（效率最优） #

find ~+ -type f -iname "log.out" -exec awk 'END{
    if ($0 !~ /completed/) {
        print FILENAME "  " $0
    }
}' {} \;

• 工作原理：awk的END块仅在处理到文件最后一行时触发，直接检查该行是否包含completed，不满足则打印文件名和行内容。awk内部会快速定位到文件末尾，无需读取整个文件。
• 优势：单进程处理每个文件，减少进程切换开销，大文件场景下效率提升显著。

方案2：bash循环（逻辑直观） #

find ~+ -type f -iname "log.out" -print0 | while IFS= read -r -d '' file; do
    last_line=$(tail -n1 "$file")
    if [[ ! "$last_line" =~ completed ]]; then
        echo "$file  $last_line"
    fi
done

• 工作原理：通过find输出以空字符分隔的文件名（避免空格问题），逐个读取文件后用tail -n1取最后一行，判断后输出结果。
• 优势：逻辑清晰，便于后续调整判断规则（比如修改匹配关键词、添加额外过滤条件）。

内容的提问来源于stack exchange，提问作者pocho