如何准确解析结构不一致、包含跨多行条目的非结构化日志文件？

核心思路 #

先通过日志起始特征合并跨多行的完整条目，再做字段解析，避免逐行读取时拆分同一条日志的问题。

实现步骤 #

1. 合并跨多行的日志条目 #

你提到的日志条目固定以dd/mm/yyyy, hh:mm格式的时间开头，以此作为新条目的锚点，逐行迭代合并续行：

import re

# 匹配新日志的起始标识
log_start_pattern = re.compile(r'^\d{2}/\d{2}/\d{4}, \d{2}:\d{2}')
all_complete_entries = []
current_entry = []

# 逐行读取日志文件
with open("你的日志文件路径.log", "r", encoding="utf-8") as f:
    for line in f:
        line = line.rstrip("\n")
        # 命中新日志开头，存入上一条完整条目并重置当前拼接缓存
        if log_start_pattern.match(line):
            if current_entry:
                all_complete_entries.append("\n".join(current_entry))
            current_entry = [line]
        # 未命中则判定为上一条日志的续行，加入缓存
        else:
            if current_entry:
                current_entry.append(line)
# 处理最后一条未存入的日志
if current_entry:
    all_complete_entries.append("\n".join(current_entry))

运行后all_complete_entries中每一个元素就是一条完整的日志，支持最多任意行的跨条合并。

2. 优化字段解析逻辑 #

所有条目合并完成后，再统一解析字段，针对你提到的冒号不一定存在的问题，优化正则兼容场景：

import datefinder
import pandas as pd

parsed_result = []
for entry in all_complete_entries:
    # 拆分时间与日志主体，re.DOTALL参数让.匹配换行符，支持跨多行内容提取
    split_match = re.match(r"^(\d{2}/\d{2}/\d{4}, \d{2}:\d{2}) - (.*)$", entry, re.DOTALL)
    if not split_match:
        # 可在此添加异常条目处理逻辑
        continue
    log_time_raw, log_content = split_match.groups()
    # 按你原有逻辑解析时间格式
    dates = [x.strftime("%x %X") for x in datefinder.find_dates(log_time_raw)]
    log_time = dates[0] if dates else None
    # 优化冒号前内容提取逻辑，不存在冒号时返回空或自定义默认值
    colon_match = re.search(r"^(.*?)\:", log_content, re.DOTALL)
    before_colon = colon_match.group(1).strip() if colon_match else None
    # 存入解析结果
    parsed_result.append({
        "日志时间": log_time,
        "日志内容": log_content,
        "冒号前内容": before_colon
    })

# 转换为DataFrame格式适配你原有处理习惯
df = pd.DataFrame(parsed_result)

注意事项 #

如果后续日志起始的时间格式有调整，仅需要修改log_start_pattern的正则规则即可适配。

内容的提问来源于stack exchange，提问作者Sebastian Goslin