Python使用正则表达式提取日志文件所有匹配分组(支持多行SQL场景)
数据库多行日志解析实现方案
核心思路
逐行匹配的方案无法处理多行SQL,是因为单个查询的内容会跨越多行,不属于日志开头行的内容。我们可以先将整个日志文件内容按日志开头特征分割成独立的完整日志条目,再对每个条目做字段提取。
实现代码
import re import html # 匹配日志条目的开头特征:开头可选单引号 + 时间戳格式 + [ db=xxx 前缀 ENTRY_START_PATTERN = r"'?(?P<timestamp>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}Z UTC) \[ db=(?P<db>\w+) " # 提取完整日志条目:匹配开头特征后,向后匹配所有内容,直到下一个开头特征出现(前瞻匹配) FULL_ENTRY_PATTERN = re.compile( rf"{ENTRY_START_PATTERN}LOG:(?P<query>.*?)(?={ENTRY_START_PATTERN}|\Z)", flags=re.DOTALL # 让.可以匹配换行符 ) result = [] # 读取整个日志文件内容 with open("你的日志文件路径.log", "r", encoding="utf-8") as f: log_content = f.read() # 遍历所有匹配到的完整日志条目 for match in FULL_ENTRY_PATTERN.finditer(log_content): entry = match.groupdict() # 按需开启下面的代码处理HTML转义,把>、<还原为>、< # entry["query"] = html.unescape(entry["query"].strip()) entry["query"] = entry["query"].strip() result.append(entry) # 输出结构化结果 print(result)
说明
- 用
re.DOTALL标记让正则的.可以匹配换行符,实现跨行内容匹配 - 用正向零宽前瞻
(?=...)判断当前条目结束位置,不会消耗下一个条目的开头内容 - 自动保留完整的多行SQL内容,无论是否有分号结尾都可以正常识别
内容的提问来源于stack exchange,提问作者Jwan622
相关产品推荐
相关产品推荐

