如何优化大文件解析场景下仅需执行一次的if判断语句

核心思路 #

用「待检查章节映射表」动态过滤已经匹配过的单次章节，同时保留需要多次匹配的章节检查逻辑，完全避免无效的if判断。

具体实现 #

步骤1：为每个章节定义独立解析逻辑 #

单独封装各章节的解析函数，返回值标记该章节是否为单次出现，匹配后是否需要从检查列表移除：

def parse_section1(line, f):
    # 此处写Section1专属解析逻辑，直到读到章节末尾
    while True:
        next_line = f.readline()
        if not next_line or next_line.strip().startswith("Section "):
            # 将读到的下一个章节头塞回文件缓冲区，避免漏判
            f.seek(f.tell() - len(next_line))
            break
        # 执行Section1的内容处理逻辑
    return True # 返回True表示该章节仅出现一次，后续无需再检查

def parse_section2(line, f):
    # 此处写Section2专属解析逻辑
    while True:
        next_line = f.readline()
        if not next_line or next_line.strip().startswith("Section "):
            f.seek(f.tell() - len(next_line))
            break
        # 执行Section2的内容处理逻辑
    return False # 返回False表示该章节多次出现，后续仍需检查

def parse_section3(line, f):
    # 此处写Section3专属解析逻辑
    while True:
        next_line = f.readline()
        if not next_line or next_line.strip().startswith("Section "):
            f.seek(f.tell() - len(next_line))
            break
        # 执行Section3的内容处理逻辑
    return True

步骤2：动态维护待检查章节列表，遍历文件 #

# 初始化待检查章节映射：key为章节头字符串，value为对应解析函数
check_sections = {
    "Section 1": parse_section1,
    "Section 2": parse_section2,
    "Section 3": parse_section3
}

with open(file, 'r', encoding='utf-8') as f:
    while True:
        line = f.readline()
        if not line: # 文件读取完成直接退出
            break
        line_content = line.strip()
        # 仅遍历当前仍需匹配的章节
        for sec_name in list(check_sections.keys()):
            if line_content == sec_name:
                parser = check_sections[sec_name]
                remove_flag = parser(line, f)
                if remove_flag:
                    # 单次章节匹配后直接删除，后续遍历不会再检查
                    del check_sections[sec_name]
                break # 匹配到章节后直接跳出，处理下一行

效率说明 #

• Section1、Section3匹配后会直接从检查列表移除，后续遍历完全不会再对这两个章节做任何判断，只剩Section1个检查项，判断开销降到最低
• 用字典映射代替多个硬编码if分支，后续新增章节仅需新增解析函数和映射关系，无需修改主逻辑
• 改用while+readline的方式实现真正的跳行，修复原代码中for循环修改line变量不生效的问题

内容的提问来源于stack exchange，提问作者LukeDev