Python正则表达式处理日志：如何跳过格式错误的日志行

我之前也碰到过类似的日志解析坑，这种格式不统一的日志确实头疼！核心思路其实很简单：用严格匹配标准格式的正则表达式，只处理能完全匹配的行，自动跳过不匹配的错误行。

第一步：定义精准匹配标准日志的正则 #

先拆解你的标准日志格式：

[158.197.233.55] : - : - :[03/Jan/2018:06:06:21 +0100] : "GET / HTTP/1.1" : 200 : 3041

我们可以针对每个字段的格式写一个严格的正则，确保只有完全符合结构的行才会被匹配：

import re

# 定义匹配标准日志的正则表达式
log_pattern = re.compile(
    r'^\[(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\] : '
    r'- : - :'
    r'\[(\d{2}/[A-Za-z]{3}/\d{4}:\d{2}:\d{2}:\d{2} \+\d{4})\] : '
    r'"(GET|POST|PUT|DELETE) ([^"]+) HTTP/\d\.\d" : '
    r'(\d{3}) : '
    r'(\d+)$'
)

这个正则的每个部分都对应标准日志的字段：

• 匹配带方括号的IP地址
• 严格匹配中间的- : - :固定内容
• 匹配带方括号的标准日期格式
• 匹配带双引号的HTTP请求行（支持常见请求方法）
• 匹配3位状态码
• 匹配数字类型的响应大小

第二步：遍历日志，跳过不匹配的行 #

使用re.fullmatch()方法（它会检查整个字符串是否完全匹配正则），只有匹配成功的行才进行解析，失败的直接跳过：

def parse_logs(log_file_path):
    parsed_logs = []
    with open(log_file_path, 'r', encoding='utf-8') as f:
        for line_num, line in enumerate(f, 1):
            line = line.strip()  # 去除首尾空白和换行符
            if not line:
                continue  # 跳过空行
            
            match = log_pattern.fullmatch(line)
            if not match:
                print(f"跳过格式错误的行（第{line_num}行）：{line}")
                continue  # 跳过不匹配的错误行
            
            # 解析匹配到的字段
            ip = match.group(1)
            timestamp = match.group(2)
            method = match.group(3)
            path = match.group(4)
            status_code = int(match.group(5))
            response_size = int(match.group(6))
            
            parsed_logs.append({
                'ip': ip,
                'timestamp': timestamp,
                'method': method,
                'path': path,
                'status_code': status_code,
                'response_size': response_size
            })
    return parsed_logs

# 使用示例
parsed = parse_logs('your_log_file.log')
print(f"成功解析{len(parsed)}条有效日志")

为什么这个方法有效？ #

比如你给出的错误日志行：

[158.197.238.112 : - : - [16/Jan/2018:17:32:02 +0100] : GET /phpmyadmin/themes/pmahomme/css/printview.css?v=4.6.6deb4 HTTP/1.1 : 200 : 988 o...

它有两个明显不符合标准的地方：

1. IP部分缺少闭合的]
2. 请求行没有包裹在双引号里

这会导致fullmatch()返回None，代码就会自动跳过这一行，不会影响后续的解析工作。

可选优化 #

如果你的日志里还有其他轻微格式问题（比如字段间的空格数量不统一），可以把正则里的空格改成\s+（匹配一个或多个空格），比如把: 改成:\s+，让正则更灵活一点，但前提是核心结构不能变。

内容的提问来源于stack exchange，提问作者caroline