带生成器的Python日志解析器:yield输出实现与代码简化问询
代码优化方案
针对两个技术问题的具体改法
1. 简化run方法逻辑、用yield输出符合格式的统计结果
原代码run方法的else分支存在重复调用方法、逻辑断层的问题:检测到新日期时没有正确输出上一日期的累计结果,且多次重复调用get_date方法造成不必要的性能损耗。
具体优化点:
- 把每次取到的日期字符串存为方法内临时变量,减少重复的切片操作
- 日期切换分支时,先将累计完成的上一日期统计结果通过yield输出,再重置计数器
- 因为原
get_date方法切片从line[1]开始,跳过了日志行开头的[,输出时按要求补回格式即可
改完的run方法逻辑:
def run(self): generator = self.parse_file() count = 0 prev_date = None while True: try: line = next(generator) except StopIteration: # 日志读取完成时,输出最后一段日期的统计结果 if prev_date is not None: yield f"[{prev_date}] {count}" break # 非NOK日志直接跳过 if not self.filter_line(line): continue current_date = self.get_date(line) if current_date is None: continue if current_date == prev_date: count += 1 else: # 简化后的else分支:先输出旧日期的累计结果,再重置状态 if prev_date is not None: yield f"[{prev_date}] {count}" count = 1 prev_date = current_date
2. 整体代码简化方案
完全可以移除冗余的parse_file生成器、清理无效的实例状态,核心优化点:
- 去掉单独封装的
parse_file方法:原方法仅做逐行读文件操作,直接在方法内用上下文管理器读文件即可,减少不必要的函数调用层级 - 清理无意义的实例属性:原类里的
dates、date_str、prev、i都是临时状态,完全不需要挂在类实例上,改成方法内的临时变量即可,消除状态耦合 - 简化异常逻辑:
get_date方法里的try-except块是无效代码,字符串切片操作不会触发AttributeError或ValueError,仅需判断切片得到的日期字符串长度合法性即可 - 简化
filter_line方法:目的是判断行是否包含NOK,直接返回布尔判断即可,不需要把命中的行对象原样返回
简化后的完整实现代码:
class Parser: def __init__(self, file_name): self.file_name = file_name # 保留固定的日期切片边界常量,删除所有临时状态属性 self.date_slice_end = 17 def get_date(self, line): date_str = line[1:self.date_slice_end].strip() # 长度匹配标准日期格式[YYYY-MM-DD HH:MM]时才返回 return date_str if len(date_str) == 16 else None def run(self): # 直接在run方法内读文件,删除多余的parse_file生成器 with open(self.file_name, 'r', encoding='utf-8') as f: count = 0 prev_date = None for line in f: # 直接判断是否为NOK日志行 if 'NOK' not in line: continue current_date = self.get_date(line) if current_date is None: continue if current_date == prev_date: count += 1 else: if prev_date is not None: yield f"[{prev_date}] {count}" count = 1 prev_date = current_date # 输出最后一段统计结果 if prev_date is not None: yield f"[{prev_date}] {count}"
使用改完的生成器时,仅需遍历run方法的返回值即可按要求输出到控制台:
if __name__ == "__main__": parser = Parser("target_log.log") for record in parser.run(): print(record)
内容的提问来源于stack exchange,提问作者Iceforest
相关产品推荐
相关产品推荐

