Python用regex提取日志生成零散字典,如何合并为单条完整字典
现有代码的问题根源
你写的正则用|将三个独立的字段匹配分支拼接成全局扫描规则,执行re.finditer扫描全量日志文本时,会依次命中每一个独立的日志片段:同一条日志对应的主机信息、时间、请求三个片段会分别触发三次独立匹配,每次匹配仅命中当前分支对应的字段,因此生成的每个字典只会有单个字段存在有效值,其余字段为None,最终出现同一条日志的字段被拆分到多个零散字典的问题。
最优解决方案:重构正则为单条日志全字段匹配
不要拆分独立匹配分支,按照日志的实际书写顺序,将所有字段的匹配逻辑整合为单条规则,直接在每条日志字符串上做一次匹配,一次性抓取全量字段,从根源上避免拆分问题。
适配的正则规则会兼容你的日志样例中「用户名和时间左方括号之间无空格」的异常格式:
import re # 全字段匹配正则:按日志文本顺序逐段匹配 log_pattern = r'(?P<host>(?:\d{1,3}\.){3}\d{1,3})\s+-\s+(?P<user_name>\w+)\s*\[\s*(?P<time>[^\]]+?)\s*\]\s+"(?P<request>[^"]+?)"' # 你的原始日志列表 log_list = [ '146.204.224.152 - feest6811 [21/Jun/2019:15:45:24 -0700] "POST /incentivize HTTP/1.1" 302 4622', '197.109.77.178 - kertzmann3129 [21/Jun/2019:15:45:25 -0700] "DELETE /virtual/solutions/target/web+services HTTP/2.0" 203 26554', '156.127.178.177 - okuneva5222[21/Jun/2019:15:45:27 -0700] "DELETE /interactive/transparent/niches/revolutionize HTTP/1.1" 416 14701', ] parsed_logs = [] for line in log_list: match = re.search(log_pattern, line) # 仅当匹配成功时存入结果 if match: parsed_logs.append(match.groupdict())
执行后得到的parsed_logs结构完全符合预期,每个字典对应单条日志的全量字段,不存在跨条目的字段错位问题。
权宜方案:合并已生成的零散字典
如果不想改动原有正则逻辑,可以基于「零散字典的出现顺序严格匹配日志字段的出现顺序」的前提,按顺序收集非空字段,集齐4个字段后作为一条完整结果:
# 假设你之前通过原有正则生成的零散字典列表为scattered_dicts scattered_dicts = [ {'host': '146.204.224.152', 'user_name': 'feest6811', 'time': None, 'request': None}, {'host': None, 'user_name': None, 'time': '21/Jun/2019:15:45:24 -0700', 'request': None}, {'host': None, 'user_name': None, 'time': None, 'request': 'POST /incentivize HTTP/1.1'}, ] merged_result = [] current_entry = {} for item in scattered_dicts: # 将当前字典中非None的字段合并到临时存储 for field, value in item.items(): if value is not None: current_entry[field] = value # 当临时存储集齐4个字段,判定为一条完整日志,存入结果后清空临时存储 if len(current_entry) == 4: merged_result.append(current_entry) current_entry = {}
注意:该方案容错性较差,如果日志格式出现异常、某条日志缺失某个字段、或匹配顺序打乱,很容易出现跨日志字段错拼的问题,仅适合处理规整度极高的测试日志,不建议在生产场景使用。
内容的提问来源于stack exchange,提问作者Sashaank
相关产品推荐
相关产品推荐

