多行日志正则匹配问题：用finditer跨多行解析日志至DataFrame

核心思路 #

跨多行日志的关键是精准识别事件边界：每个日志事件以时间戳开头，下一个时间戳之前的所有内容（包括换行）都属于当前事件的消息。通过结合re.MULTILINE和re.DOTALL参数，配合正向前瞻匹配下一个事件的起始，就能避免换行截断和同行误判问题。

具体实现步骤 #

1. 匹配规则定义：
   以时间戳为事件起始标记，用正向前瞻匹配下一个时间戳或日志结尾，确保捕获完整的跨多行消息。示例正则（需根据你的实际时间戳格式调整）：

   ^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (.*?)(?=^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}|\Z)
   

   • ^：开启re.MULTILINE后，匹配每行开头
   • (\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})：捕获时间戳分组
   • (\w+)：捕获日志级别（如INFO/ERROR/WARN）
   • (.*?)：非贪婪匹配消息内容（包含换行）
   • (?=^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}|\Z)：正向前瞻，匹配下一个时间戳开头或日志结束，避免截断

2. Jupyter代码示例：

   import re
   import pandas as pd
   
   # 替换为你的实际日志内容
   log_content = """2024-05-20 10:00:01 INFO  [main] Application started successfully
   2024-05-20 10:00:05 ERROR [service] Failed to connect to database
       Stack trace:
       java.sql.SQLException: Connection refused
           at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129)
   2024-05-20 10:00:10 WARN  [cache] Cache miss for key: user_123"""
   
   # 编译正则，必须同时开启re.MULTILINE和re.DOTALL
   log_pattern = re.compile(
       r'^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (.*?)(?=^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}|\Z)',
       re.MULTILINE | re.DOTALL
   )
   
   # 提取所有匹配结果
   log_matches = log_pattern.findall(log_content)
   
   # 转换为DataFrame
   df_log = pd.DataFrame(log_matches, columns=['timestamp', 'log_level', 'message'])
   
   # 可选：整理消息格式（去除多余换行和缩进）
   df_log['message'] = df_log['message'].str.replace(r'\n\s+', ' ', regex=True).str.strip()
   
   # 查看结果
   display(df_log)
   

关键注意事项 #

• 必须同时启用re.MULTILINE和re.DOTALL：前者让^识别行首，后者让.匹配换行符
• 根据你的日志时间戳格式调整正则中的时间戳部分（比如带毫秒、不同日期格式等）
• 非贪婪匹配.*?配合正向前瞻，是避免同行数字截断的核心，确保只匹配到下一个事件起始为止

内容的提问来源于stack exchange，提问作者newmember