如何高效编辑大型日志文件 转换RFC3162日期为RFC5424格式

• 逐行处理时每行都会启动多个独立子进程：每处理1行日志，就会依次创建awk、date、sed三个独立进程，数百万行日志对应数百万次进程创建、销毁操作，这部分开销远高于实际日志处理的开销，是性能瓶颈的核心来源。
• 频繁的小IO操作：每行处理完成后都执行追加写入操作，大量零碎的IO请求严重拖慢整体执行效率。
• 多余的管道传递开销：每行数据都要经过多次管道在不同进程间传递，额外增加了不必要的性能消耗。

这里推荐使用GNU awk实现，单进程即可完成所有处理逻辑，无需调用外部工具，性能提升可达上千倍，百万行日志通常可在数秒到数分钟内处理完成。

实现逻辑说明 #

• awk默认按任意空白分割字段，自动适配月份与日期之间1/2个空格的格式，无需额外处理
• 内置时间处理函数直接完成日期格式转换，无需调用外部date命令
• 一次性读写整份文件，大幅降低IO开销

转换脚本代码 #

首先是批量处理的bash脚本：

#!/bin/bash
# 遍历传入的目录
for dir in "$1"; do
    [[ -d "$dir" ]] || continue
    echo "Processing directory $dir"
    # 处理目录下所有2021年的日志文件
    for logfile in "$dir"/*.2021; do
        [[ -f "$logfile" ]] || continue
        echo "Processing file $logfile"
        # 使用GNU awk处理，指定时区为东2区
        TZ=UTC-2 gawk '
        BEGIN {
            # 初始化月份映射
            mon["Jan"] = 1; mon["Feb"] = 2; mon["Mar"] = 3; mon["Apr"] = 4;
            mon["May"] = 5; mon["Jun"] = 6; mon["Jul"] = 7; mon["Aug"] = 8;
            mon["Sep"] = 9; mon["Oct"] = 10; mon["Nov"] = 11; mon["Dec"] = 12;
        }
        {
            # 拼接时间参数给mktime：格式为"YYYY MM DD HH MM SS"
            time_str = "2021 " mon[$1] " " $2 " " substr($3,1,2) " " substr($3,4,2) " " substr($3,7,2)
            # 转成时间戳后格式化为RFC5424格式
            new_date = strftime("%Y-%m-%dT%H:%M:%S+02:00", mktime(time_str))
            # 输出新日期 + 后续原内容
            printf "%s", new_date
            for (i=4; i<=NF; i++) printf " %s", $i
            print ""
        }' "$logfile" > "$logfile.tmp" && mv "$logfile.tmp" "$logfile"
    done
done

使用说明 #

1. 保存上述代码为convert_syslog_date.sh
2. 赋予执行权限：chmod +x convert_syslog_date.sh
3. 执行处理：./convert_syslog_date.sh 你的日志根目录路径

如果更习惯用Python实现，也可以用以下单文件脚本，处理性能同样远高于原bash方案：

import os
import sys
from datetime import datetime

def convert_log(file_path):
    month_map = {v: i+1 for i, v in enumerate(["Jan","Feb","Mar","Apr","May","Jun","Jul","Aug","Sep","Oct","Nov","Dec"])}
    tmp_path = file_path + ".tmp"
    with open(file_path, 'r', encoding='utf-8', errors='ignore') as fr, open(tmp_path, 'w', encoding='utf-8') as fw:
        for line in fr:
            parts = line.split(maxsplit=3)
            if len(parts) <4:
                fw.write(line)
                continue
            mon, day, t, rest = parts
            dt = datetime.strptime(f"2021 {mon} {day} {t}", "%Y %b %d %H:%M:%S")
            new_date = dt.strftime("%Y-%m-%dT%H:%M:%S+02:00")
            fw.write(f"{new_date} {rest}")
    os.replace(tmp_path, file_path)

if __name__ == "__main__":
    root_dir = sys.argv[1]
    for f_name in os.listdir(root_dir):
        if f_name.endswith(".2021"):
            f_path = os.path.join(root_dir, f_name)
            if os.path.isfile(f_path):
                print(f"Processing {f_path}")
                convert_log(f_path)

内容的提问来源于stack exchange，提问作者proxymoxy