如何用grep处理多行日志：忽略起始行后6行含指定串的告警

嘿，这个需求用awk来处理会比单纯用grep更得心应手，毕竟咱们要搞定的是多行关联的日志过滤问题。我给你两个实用的实现方案，你可以根据自己的场景选：

awk天生擅长处理行与行之间的关联逻辑，刚好适合你的需求。核心思路是：先定位到告警起始行，然后跟踪接下来的6行，检查是否包含要忽略的特定字符串——如果没找到，就输出这条告警；如果找到了，就跳过它。

把下面的代码存成filter_warnings.awk文件：

# 替换成你实际的告警起始行关键词，比如"WARNING"
/WARNING/ {
    # 记录当前告警行内容和行号
    warn_content = $0
    warn_line_num = NR
    # 开启后续行检查标记
    need_check = 1
    next
}
# 处于检查状态，且当前行在告警行后6行范围内
need_check && NR <= warn_line_num + 6 {
    # 替换成你要忽略的特定字符串
    if (/ignore-me/) {
        # 找到忽略字符串，关闭检查标记
        need_check = 0
    }
    next
}
# 检查结束，且没找到忽略字符串，输出告警行
need_check {
    print warn_content
    # 如果需要输出告警的后续关联行，可以在这里添加逻辑
    need_check = 0
}

然后在你的cron任务里用这个命令：

awk -f filter_warnings.awk /path/to/your/logfile.log

如果想直接把awk代码写在命令行里（不用存文件），可以这样：

awk '/WARNING/{warn=$0;num=NR;check=1;next} check&&NR<=num+6{if(/ignore-me/)check=0;next} check{print warn;check=0}' /path/to/your/logfile.log

如果不想用awk，也可以用grep和sed组合来实现，不过这个方法会多次读取日志文件，大日志场景下效率不如awk。具体命令如下：

# 先获取所有告警起始行的行号
warn_line_nums=$(grep -n "WARNING" /path/to/your/logfile.log | cut -d: -f1)

# 遍历每个告警行号，检查后续6行
for line_num in $warn_line_nums; do
    # 检查从当前行到后6行是否包含忽略字符串
    if ! sed -n "${line_num},$((line_num+6))p" /path/to/your/logfile.log | grep -q "ignore-me"; then
        # 不包含的话，输出这条告警行
        sed -n "${line_num}p" /path/to/your/logfile.log
    fi
done

注意事项 #

• 记得把代码里的WARNING替换成你实际用来识别告警起始行的关键词，ignore-me替换成要忽略的特定字符串。
• 如果需要输出告警的完整多行内容（而不只是起始行），可以调整awk的逻辑，比如在输出告警行后，继续输出后续的关联行直到下一个告警或日志结束。

内容的提问来源于stack exchange，提问作者Haimon