Python中如何持续读取日志文件的新增末行并处理内容
Python 持续读取追加写入日志新增行的实现方案
常规调用readlines()读取文件时,会一次性将当前文件指针到文件末尾的所有内容加载到内存后立即返回,属于静态一次性读取,不会捕获调用完成后新追加的日志内容。要实现持续监听新增行的需求,本质是实现类tail -f的跟踪读取逻辑,核心需要覆盖三个要点:
- 持续跟踪文件指针位置,避免重复读取已经处理过的历史内容
- 无新内容写入时短暂休眠轮询,防止CPU空转被占满
- 兼容日志轮转场景(即日志归档时原文件被重命名、新建同名新日志文件),避免监听失效
可直接运行的实现代码
import time import os def tail_log(file_path: str, skip_history: bool = True, poll_interval: float = 0.5): """ 持续读取日志文件的新增行 :param file_path: 待监听的日志文件路径 :param skip_history: 是否跳过文件已存在的历史内容,仅读取程序启动后新增的行 :param poll_interval: 轮询检测新内容的间隔时间,单位为秒 """ # 兼容日志文件尚未创建的启动场景 while not os.path.exists(file_path): time.sleep(poll_interval) with open(file_path, 'r', encoding='utf-8') as log_file: # 跳过历史内容:将文件指针直接移动到文件末尾 if skip_history: log_file.seek(0, os.SEEK_END) # 记录当前打开文件的inode,用于检测日志轮转 current_file_inode = os.fstat(log_file.fileno()).st_ino while True: # 检测日志文件是否被替换(inode变化说明文件已轮转) new_file_inode = os.stat(file_path).st_ino if new_file_inode != current_file_inode: log_file.close() # 重新打开轮转后的新日志文件,从头开始读取 log_file = open(file_path, 'r', encoding='utf-8') current_file_inode = new_file_inode # 逐行读取新增内容 new_line = log_file.readline() if not new_line: # 无新内容时休眠,避免CPU空转 time.sleep(poll_interval) continue # 替换为实际的业务处理逻辑 processed_content = new_line.strip() if processed_content: print(f"捕获到新增日志: {processed_content}") if __name__ == "__main__": # 启动监听当前目录下的app.log文件 tail_log("./app.log")
实现注意事项
- 轮询间隔建议设置在0.2~1秒区间,间隔过短会造成无意义的CPU占用过高,间隔过长会增加日志捕获的延迟,该区间配置基本不会影响实际业务体验
- 上述实现采用逐行读取模式,内存占用与日志文件总大小无关,可适配GB级以上的超大日志文件
- 如果出现日志捕获延迟较高的问题,优先排查日志写入端的缓冲区配置(比如写入程序未设置自动刷盘、内核缓冲区配置过大),该类问题不属于读取逻辑的缺陷
- 若需要从文件开头读取全部历史日志,可将
skip_history参数设为False,无需修改核心读取逻辑
内容的提问来源于stack exchange,提问作者iAmoric
相关产品推荐
相关产品推荐

