使用Bash脚本匹配日志多行模板及结果迭代处理问题

你的核心问题出在grep -Pzo的输出处理和参数特性上：

• -z参数会将换行符视为普通字符，同时用**空字符（\0）**分隔多个匹配结果，但默认终端输出时空字符不会被识别为分隔符，所以看起来是单个大块内容。
• -n/-c/-v这类参数是基于"行"的统计/反向匹配，但-z已经打破了传统行的定义，因此完全不适用多行块匹配的场景。

1. 正确拆分grep的匹配结果 #

利用-z输出的空字符分隔特性，用read -d ''或xargs -0来拆分独立匹配项，实现迭代处理：

示例代码（Bash） #

首先将你的模板转换为正确的Perl兼容正则：
模板：

Line <NUMBER_VAR>
Dave is right

转换后正则：Line \d+\RDave is right（\R匹配任意换行符，兼容Windows/Linux换行）

然后执行匹配并迭代：

# 匹配并循环处理每个结果
grep -Pzo 'Line \d+\RDave is right' log.txt | while IFS= read -d '' match; do
    # 1. 将匹配项写入忽略日志
    echo "$match" >> ignored.log
    # 2. 这里可以添加其他自定义处理逻辑，比如提取变量<NUMBER_VAR>
    num=$(echo "$match" | grep -Po 'Line \K\d+')
    echo "忽略了编号为$num的块" >> process.log
done

2. 生成过滤后的新日志 #

直接用grep -Pzv反向匹配会因为-z的单行特性导致结果异常，推荐用awk实现精准的多行块过滤，更可控：

示例代码（Awk） #

# awk脚本：匹配指定块并跳过，输出剩余内容
BEGIN {
    # 定义匹配模式（对应模板转换后的逻辑）
    block_regex1 = "Line [0-9]+"
    block_regex2 = "Dave is right"
    in_block = 0
}

{
    if ($0 ~ block_regex1) {
        in_block = 1
        # 记录当前行，后续匹配第二行
        prev_line = $0
        next
    }
    if (in_block == 1 && $0 ~ block_regex2) {
        # 完整匹配到块，跳过输出，重置标记
        in_block = 0
        # 将匹配块写入忽略日志
        print prev_line > "ignored.log"
        print $0 >> "ignored.log"
        next
    }
    if (in_block == 1) {
        # 第一行匹配但第二行不匹配，输出两行
        print prev_line
        in_block = 0
    }
    # 输出非匹配内容
    print $0
}

END {
    # 处理文件末尾可能残留的未完成块
    if (in_block == 1) {
        print prev_line
    }
}

执行脚本：

awk -f filter.awk log.txt > filtered.log

3. 优化模板转正则的逻辑 #

确保你的template2variable函数处理以下细节：

• 移除#开头的注释行
• 将<?内容?>转换为(?:内容)?（非捕获可选组）
• 将<TEXT_VAR>转换为\w+或[^\\n]+（根据需求调整文本范围）
• 将<NUMBER_VAR>转换为\d+
• 模板中的换行符替换为\R（兼容不同系统的换行格式）

内容的提问来源于stack exchange，提问作者WhenYouDev