Python如何基于datetime截取并解析大型日志的指定时间段内容

核心逻辑 #

将每一行日志开头的时间字符串提取出来，转换为可比较的时间类型后，和预设的起止时间做区间比对，保留落在目标时间范围内的日志行即可。

具体实现步骤 #

• 确认日志时间格式：你提供的日志时间格式为[YYYY-MM-DD HH:MM:SS.sss]，对应Python的datetime解析格式串为[%Y-%m-%d %H:%M:%S.%f]
• 逐行读取日志内容，通过正则匹配或者字符串切片提取每行开头的时间字符串
• 将提取到的日志时间、你预设的起止时间都转换为相同格式的datetime对象
• 逐行判断时间是否符合起始时间 ≤ 日志时间 ≤ 结束时间的条件，符合要求的行存入结果列表供后续解析使用

Python 示例代码 #

import datetime
import re

# 自定义配置：修改为你需要的起止时间
START_TIME_STR = "[2021-09-14 21:56:01.768]"
END_TIME_STR = "[2021-09-14 21:58:56.608]"
# 时间解析格式，需和日志时间格式严格对应
TIME_PATTERN = "[%Y-%m-%d %H:%M:%S.%f]"

# 转换起止时间为datetime对象用于比较
start_time = datetime.datetime.strptime(START_TIME_STR, TIME_PATTERN)
end_time = datetime.datetime.strptime(END_TIME_STR, TIME_PATTERN)

filtered_logs = []

# 逐行读取日志文件，大文件也不会占用过多内存
with open("your_log_path.log", "r", encoding="utf-8") as log_file:
    for line in log_file:
        line = line.rstrip("\r\n")
        if not line:
            continue
        # 正则匹配行首的时间串，兼容行首可能存在的空白字符
        time_res = re.match(r"^\s*\[\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}\]", line)
        if not time_res:
            # 无时间前缀的行可根据需求处理：如果是上一条日志的换行内容，可追加到上一条日志末尾
            continue
        log_time_str = time_res.group().strip()
        log_time = datetime.datetime.strptime(log_time_str, TIME_PATTERN)
        # 时间区间判断
        if start_time <= log_time <= end_time:
            filtered_logs.append(line)

# 此处可接入你已经完成的日志解析逻辑，直接操作filtered_logs即可
for log in filtered_logs:
    print(log)

注意事项 #

• 特别注意时间解析格式要和日志中的时间格式严格对应，年月日时分秒的顺序、分隔符、毫秒位数都不能错，否则会抛出时间解析异常
• 当日志存在跨多行的内容（比如异常堆栈、换行输出的参数），未匹配到时间前缀的行可以追加到上一条符合条件的日志末尾，避免日志内容拆分
• 逐行读取的方式适配GB级别的大日志文件，内存占用始终维持在很低的水平，不需要一次性加载整个文件

内容的提问来源于stack exchange，提问作者Sumit Somani