Python日志解析正则问题：匹配可变数量WORK条目

问题描述 #

我正在Python中编写日志文件解析器，但在Regex使用上遇到困难。以下是日志文件片段（实际有成千上万条类似条目）：

//
JOBINC/PSEUDO:MIKE/NAME:MICKAEL/HEIGHT:1.8M/JOB:DEV//
UPDATE/MAY 2021//
DEV/WORK:256695H1587469K/WORK:364525H6715369K/WORK:9842645H1364595K/
WORK:549812H6845354K/WORK:284568H5898758K//
WORKPLACE/MELBOURNE//
WORKPERIOD/MAY-MAY/05MAY2008/05MAY2021//
//
JOBINC/PSEUDO:JAY/NAME:JEROME/HEIGHT:1.64/JOB:ATHLETE//
UPDATE/MAY 2021//
ATHLETE/WORK:123658H4578125K/WORK:157456H8431567K/WORK:124856H6483256K 
WORK:152345H1345126K/WORK:198458H3615207H/WORK:678045H0630251K/
WORK:159036H1753158K/WORK:058845H1658435K//
WORKPLACE/GENEVA//
WORKPERIOD/MAY-MAY/18MAY2008/23MAY2021//
//

我的目标是基于这些日志创建一个DataFrame，列包括：JOBINC, PSEUDO, NAME, HEIGHT, JOB, WORK, WORKPLACE, WORKPERIOD。

我目前使用的Regex无法正常工作，比如无法匹配数量不固定的所有WORK:条目：

(JOBINC)/(PSEUDO:.*?(?=/))/(NAME:.*?(?=/))/(HEIGHT:.*?(?=/))/(JOB:.*?(?=/))//
UPDATE/MAY 2021//
(.*?(?=/))/(WORK:.*?(?=/))

解决方案 #

1. 先拆分独立日志块 #

每条完整的用户记录被//包裹，先按//\n分割日志内容，过滤掉空块，确保后续正则只处理单条用户的完整数据，避免跨条目匹配混乱。

2. 编写适配的正则模式 #

要处理数量不固定的WORK条目，需要用全局匹配+跨行匹配的思路，推荐正则模式如下（带注释，支持跨行匹配）：

(?sx)
^JOBINC/(PSEUDO:[^/]+)/(NAME:[^/]+)/(HEIGHT:[^/]+)/(JOB:[^/]+)//
UPDATE/MAY 2021//
[^/]+/(.*?)//
WORKPLACE/([^/]+)//
WORKPERIOD/(.*?)//

• (?sx)：s让.匹配换行符，解决WORK条目跨行的问题；x允许正则内的空白和注释，提升可读性
• [^/]+：替代.*?(?=/)，更高效地匹配到下一个/前的所有内容，避免意外匹配
• (.*?)：先捕获整个包含所有WORK条目的块，后续再单独提取每个WORK值

3. 提取所有WORK条目 #

拿到WORK块内容后，用小正则WORK:([\wHK.]+)做全局匹配，把所有WORK值提取出来，可选择用逗号分隔或列表形式存入DataFrame的WORK列。

4. Python代码示例 #

import re
import pandas as pd

# 示例日志内容（实际可替换为读取文件）
log_content = """//
JOBINC/PSEUDO:MIKE/NAME:MICKAEL/HEIGHT:1.8M/JOB:DEV//
UPDATE/MAY 2021//
DEV/WORK:256695H1587469K/WORK:364525H6715369K/WORK:9842645H1364595K/
WORK:549812H6845354K/WORK:284568H5898758K//
WORKPLACE/MELBOURNE//
WORKPERIOD/MAY-MAY/05MAY2008/05MAY2021//
//
JOBINC/PSEUDO:JAY/NAME:JEROME/HEIGHT:1.64/JOB:ATHLETE//
UPDATE/MAY 2021//
ATHLETE/WORK:123658H4578125K/WORK:157456H8431567K/WORK:124856H6483256K 
WORK:152345H1345126K/WORK:198458H3615207H/WORK:678045H0630251K/
WORK:159036H1753158K/WORK:058845H1658435K//
WORKPLACE/GENEVA//
WORKPERIOD/MAY-MAY/18MAY2008/23MAY2021//
//"""

# 分割并清洗日志块
log_blocks = [block.strip() for block in log_content.split("//\n") if block.strip()]

# 定义正则匹配规则
record_pattern = re.compile(r'''
    (?sx)
    ^JOBINC/(PSEUDO:[^/]+)/(NAME:[^/]+)/(HEIGHT:[^/]+)/(JOB:[^/]+)//
    UPDATE/MAY 2021//
    [^/]+/(.*?)//
    WORKPLACE/([^/]+)//
    WORKPERIOD/(.*?)//
''')
work_pattern = re.compile(r'WORK:([\wHK.]+)')

# 提取数据并整理
data_list = []
for block in log_blocks:
    match_result = record_pattern.match(block)
    if not match_result:
        continue
    pseudo, name, height, job, work_block, workplace, workperiod = match_result.groups()
    # 提取所有WORK条目
    all_work = work_pattern.findall(work_block)
    data_list.append({
        "JOBINC": "JOBINC",
        "PSEUDO": pseudo.split(":")[1],
        "NAME": name.split(":")[1],
        "HEIGHT": height.split(":")[1],
        "JOB": job.split(":")[1],
        "WORK": ",".join(all_work),
        "WORKPLACE": workplace,
        "WORKPERIOD": workperiod
    })

# 生成DataFrame
result_df = pd.DataFrame(data_list)
print(result_df)

关键改进点 #

• 用(?sx)模式解决WORK条目跨行的匹配问题
• 用[^/]+替代低效的非贪婪匹配，提升正则执行效率
• 分两步提取WORK数据：先捕获整块内容，再全局提取所有条目，完美适配数量不固定的情况
• 先拆分日志块，避免正则跨条目匹配错误

内容的提问来源于stack exchange，提问作者DafalBeat