如何使用AWK解析PostgreSQL多行错误日志并筛选时间范围

问题背景 #

我正在编写Bash脚本，用于解析PostgreSQL错误日志并提取指定日期/时间范围内的日志条目。难点在于日志条目可能是多行的，且只有首行包含时间戳。

日志格式 #

日志首行格式如下：
YYYY-MM-DD hh:mm:ss UTC:<IP address>(<port>):<user>@<host>:[pid]:<msgtype>:<message>
其中：

• <message>可以是1行或多行
• <msgtype>包括ERROR、STATEMENT、DETAIL等，几乎所有类型的消息都可能包含任意行数

当前遇到的问题 #

我使用AWK处理多个日志文件，每个文件内的日志按时间戳排序，但文件之间不一定有序。目前仅实现了简单的时间比较：

awk '{if ($1 >= "$first") { print } }'

其中$first为起始时间戳。添加结束时间$last的检查并不复杂，但不知道如何处理那些不包含时间戳、属于符合条件条目后续的行。

另外还有一个疑问：之前的写法只比较了日期，未包含时间，是否可以用以下写法同时比较日期和时间？

awk '{if ( ($1" "$2) >= "$first") { print } }'

示例日志条目 #

2023-11-07 07:01:25 UTC::@:[605]:ERROR: could not connect to the publisher: connection to server at "", port 5432 failed: FATAL: pg_hba.conf rejects replication connection for host "", user "", SSL on
connection to server at "", port 5432 failed: FATAL: pg_hba.conf rejects replication connection for host "", user "", SSL off

解决方案 #

1. 时间比较的正确性 #

可以直接使用$1" "$2与时间字符串比较。因为PostgreSQL日志的时间格式YYYY-MM-DD hh:mm:ss是按年-月-日-时-分-秒的顺序排列的，字符串的字典序比较结果和时间顺序完全一致。只要$first和$last也采用相同格式（例如2023-11-07 00:00:00），拼接后的字符串比较是有效的。

2. 多行日志条目处理 #

核心思路是用一个标记变量记录当前是否处于需要输出的日志条目范围内，具体AWK脚本如下：

# 定义时间范围
first="2023-11-07 07:00:00"
last="2023-11-07 08:00:00"

# 处理日志文件
awk -v start="$first" -v end="$last" '
# 匹配日志首行的时间戳格式
/^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}/ {
    current_time = $1 " " $2
    # 判断当前时间是否在目标范围内
    if (current_time >= start && current_time <= end) {
        print_flag = 1
    } else {
        print_flag = 0
    }
}
# 根据标记决定是否输出当前行
print_flag { print }
' logfile1.log logfile2.log

脚本说明

• 使用-v参数将Shell中的时间变量传递给AWK，避免字符串引号转义问题
• 通过正则表达式^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}准确识别日志条目的首行
• 用print_flag变量控制后续非首行的输出：只要当前条目在时间范围内，所有后续行都会被输出

3. 跨文件时间排序（可选） #

如果日志文件之间的时间顺序混乱，可以先合并所有文件并按时间戳排序，再进行提取：

first="2023-11-07 07:00:00"
last="2023-11-07 08:00:00"

cat logfile*.log | sort -k1,2 | awk -v start="$first" -v end="$last" '
/^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}/ {
    current_time = $1 " " $2
    if (current_time >= start && current_time <= end) {
        print_flag = 1
    } else {
        print_flag = 0
    }
}
print_flag { print }
'

内容的提问来源于stack exchange，提问作者Swechsler