Python如何高效读取含特定字符串的大日志文件末尾指定行数？

当然有更高效的方案！你提到的for line in reversed(open("filename").readlines())确实在大文件场景下很拉胯——它会把整个文件加载到内存里，既费时间又占资源。我们可以从文件末尾反向读取固定大小的块，只处理文件最后一部分内容，完全不用碰前面的海量数据，完美解决大文件的性能问题。

核心思路 #

1. 从文件末尾开始，每次读取一小块内容（比如4KB，可按需调整）
2. 在块内拆分出行，逆序检查是否包含目标字符串,Kes
3. 处理块边界的不完整行（比如块开头可能是某行的中间部分），和上一块的残留内容拼接
4. 直到收集够10条匹配行，或者读到文件开头为止

Python 实现代码 #

def get_last_matching_lines(filename, target_pattern, max_lines=10):
    matching_lines = []
    block_size = 4096  # 推荐4KB-16KB，可根据日志行长度调整
    # 用二进制模式读取，避免编码问题，后续统一解码
    with open(filename, 'rb') as file:
        file.seek(0, 2)  # 定位到文件末尾
        total_size = file.tell()
        remaining_bytes = total_size
        remaining_line = b''  # 存储块边界的不完整行

        while remaining_bytes > 0 and len(matching_lines) < max_lines:
            # 计算本次要读取的块大小，防止超出文件开头
            read_size = min(block_size, remaining_bytes)
            file.seek(total_size - remaining_bytes)
            block = file.read(read_size)
            
            # 拆分块为行列表
            lines = block.split(b'\n')
            remaining_bytes -= read_size

            # 拼接上一块的残留行到当前块的第一行
            if remaining_line:
                lines[0] = remaining_line + lines[0]
                remaining_line = b''
            
            # 逆序遍历行，优先检查最近的日志行
            for line in reversed(lines):
                if line:  # 跳过空行
                    decoded_line = line.decode('utf-8')  # 按实际文件编码调整，比如GBK
                    if target_pattern in decoded_line:
                        matching_lines.append(decoded_line)
                        if len(matching_lines) == max_lines:
                            break
            
            # 如果没读到文件开头，保存当前块的第一行（可能是不完整的）
            if remaining_bytes > 0 and lines:
                remaining_line = lines[0]
        
        # 因为是从后往前收集的，反转后恢复正常顺序
        return matching_lines[::-1]

# 使用示例
if __name__ == "__main__":
    target_lines = get_last_matching_lines("your_log_file.log", ",Kes", 10)
    print(f"找到 {len(target_lines)} 条匹配行：")
    for line in target_lines:
        print(line.strip())

关键细节说明 #

• 块大小调整：如果你的日志行普遍很长（比如几百字节），可以把block_size设大一点（比如8192即8KB），减少读取次数；如果行很短，小一点的块也能高效工作。
• 编码处理：代码默认用UTF-8解码，如果你的日志是其他编码（比如GBK、GB2312），修改decode里的参数即可。
• 内存友好：不管文件多大，内存里只会保留当前读取的块和已收集的匹配行，内存占用极低。
• 边界处理：完美解决块拆分时的不完整行问题，不会漏掉任何可能的匹配行。

内容的提问来源于stack exchange，提问作者Jaakko Seppälä