使用Python处理大日志文件：匹配指定字符串并提取特定内容

针对大日志文件的块结构特性，我们可以通过逐行缓存日志块的方式，精准定位包含目标字符串的块，并提取所需内容。以下是实现代码：

def extract_target_log_block(log_file_path, target_keyword):
    current_block = []
    target_block_found = False

    # 判断是否为日志块分隔线
    def is_block_separator(line):
        return line.strip().startswith('-----')

    with open(log_file_path, 'r') as log_file:
        for line in log_file:
            stripped_line = line.strip()
            # 遇到分隔线时，检查当前缓存的块是否包含目标关键词
            if is_block_separator(stripped_line):
                if current_block and any(target_keyword in line_content for line_content in current_block):
                    # 输出整个目标块内容
                    print(''.join(current_block))
                    # 提取并输出块内第一条日期行（适配示例中的MM/DD/YYYY格式）
                    for block_line in current_block:
                        cleaned_line = block_line.strip()
                        # 根据实际日志日期格式调整判断逻辑
                        if len(cleaned_line) >= 10 and cleaned_line[2] == '/' and cleaned_line[5] == '/':
                            print("\n第一条日期行：")
                            print(cleaned_line)
                            target_block_found = True
                            break
                    # 找到第一个匹配块后停止处理，避免遍历整个大文件
                    break
                # 重置当前块缓存，准备接收下一个块的内容
                current_block = []
            else:
                current_block.append(line)
        
        # 处理文件末尾未被分隔线闭合的块（如果存在）
        if not target_block_found and current_block:
            if any(target_keyword in line_content for line_content in current_block):
                print(''.join(current_block))
                for block_line in current_block:
                    cleaned_line = block_line.strip()
                    if len(cleaned_line) >= 10 and cleaned_line[2] == '/' and cleaned_line[5] == '/':
                        print("\n第一条日期行：")
                        print(cleaned_line)
                        break

# 调用示例
extract_target_log_block("/home/AMQERR01.LOG", "AMQ6209W")

关键逻辑说明 #

1. 块结构识别：通过判断行是否以-----开头来划分日志块，彻底避免固定行数切片的局限性。
2. 目标块匹配：每遇到分隔线时，检查当前缓存的块是否包含目标关键词AMQ6209W，匹配成功则立即处理该块。
3. 日期行提取：根据示例日志的MM/DD/YYYY格式编写判断逻辑，你可以根据实际日志的日期格式（如YYYY-MM-DD）修改条件。
4. 性能优化：逐行处理日志，无需加载整个文件到内存，适合大日志文件；找到第一个匹配块后立即停止遍历，减少不必要的计算。

内容的提问来源于stack exchange，提问作者ravi