如何用Bash检测日志文件中连续行的指定重复文本（忽略特定字段）

要实现需求——检查日志文件中是否存在至少两行连续行，在忽略前两个时间戳字段、仅保留第三字段的情况下包含指定文本，匹配返回退出码0，不匹配返回1，推荐用awk实现，逻辑清晰且效率较高：

核心实现脚本 #

awk -v target="error" '
{
    # 提取每行第三字段，自动忽略前两个时间戳字段及后续内容
    curr = $3
    # 检查当前行与上一行的第三字段是否都包含目标文本
    if (index(curr, target) != 0 && index(prev, target) != 0) {
        found = 1
        exit  # 找到匹配后立即退出，无需遍历剩余行
    }
    prev = curr
}
END {
    exit !found  # 匹配则返回0，不匹配返回1
}' your_log_file.log

脚本说明 #

1. 参数传递：通过-v target="error"传入要匹配的目标文本，替换为你需要的关键词即可
2. 字段提取：$3直接提取每行第三字段，自动跳过前两个时间戳字段（如2020-01-01 05:07），同时忽略第三字段之后的所有内容
3. 连续行检查：用index()函数判断字段是否包含目标文本（如果需要精确匹配第三字段等于目标文本，将index(curr, target) != 0改为curr == target即可）
4. 退出逻辑：一旦找到连续两行匹配，立即标记found=1并退出；最终通过exit !found控制退出码，符合需求

使用示例 #

• 针对你提供的第一个匹配日志文件，运行脚本后执行echo $?，会输出0
• 针对第二个不匹配的日志文件，执行echo $?会输出1

备选方案（sed+awk组合） #

如果偏好拆分步骤，也可以先用sed提取第三字段，再用awk检查连续行：

sed -E 's/^[^ ]+ [^ ]+ ([^ ]+).*/\1/' your_log_file.log | awk -v target="error" '
index($0, target) {consec++}
!index($0, target) {consec=0}
consec >=2 {exit 0}
END {exit 1}'

内容的提问来源于stack exchange，提问作者ansanes