Python提取ATM日志Trx_datetime至Pandas DataFrame的问题

常见问题根源 #

• Pandas默认提取逻辑限制：str.extract()仅返回第一个匹配项，如果单条日志/客户块包含多个交易时间，会直接忽略后续值。
• 正则表达式锚定错误：误用^（行首）、$（行尾）这类锚定符，导致仅匹配客户块内的第一个时间戳。
• 日志结构关联失误：客户信息与交易时间多行分布时，未建立后续交易时间与对应客户的关联关系。

具体修复方案 #

1. 替换提取方法以支持多匹配 #

将str.extract()替换为str.extractall()，再通过unstack()整理结构，确保捕获所有匹配的时间戳：

# 示例：匹配YYYY-MM-DD HH:MM:SS格式的时间戳
df['Trx_datetime'] = df['log_content'].str.extractall(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})').unstack()[0]

2. 修正正则表达式 #

移除不必要的锚定符，确保正则能匹配所有符合格式的时间戳。比如将原正则：

r'^.*Trx_datetime: (\d{4}-\d{2}-\d{2}.*)$'

修改为：

r'Trx_datetime: (\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})'

3. 处理多行客户块日志 #

如果日志是按客户分组的多行结构（如一个客户ID下对应多条交易记录），先拆分客户块再提取所有时间戳：

import pandas as pd
import re

# 读取日志文件
with open('atm_logs.txt', 'r') as f:
    raw_logs = f.read()

# 按客户ID分割日志块
split_blocks = re.split(r'CustomerID: (\d+)', raw_logs)[1:]
customer_pairs = [(split_blocks[i], split_blocks[i+1]) for i in range(0, len(split_blocks), 2)]

# 提取每个客户的所有交易时间并生成结构化数据
output_data = []
for cust_id, block_content in customer_pairs:
    all_timestamps = re.findall(r'Trx_datetime: (\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})', block_content)
    for ts in all_timestamps:
        output_data.append({'CustomerID': cust_id, 'Trx_datetime': ts})

# 转换为DataFrame
final_df = pd.DataFrame(output_data)

验证方式 #

执行final_df.isnull().sum()检查Trx_datetime列的空值数量，确认所有时间戳已被正确捕获。

内容的提问来源于stack exchange，提问作者Shulaz Shan