Python分词器peek函数优化问询：替代无限循环与复杂条件

方案一：贴合原有逻辑的简化版本 #

def peek(self):
    while not self.is_end():
        # 检查当前是否为需要跳过的类型
        skip_current = (self.skip_white_space and self.expect_type('WHITE_SPACE')) or \
                       (self.skip_EOF and self.expect_type('EOF'))
        
        if skip_current:
            self.consume()
        else:
            break
    return None if self.is_end() else self.lines[self.line][self.column]

方案二：更简洁的集合判断版本（推荐） #

如果你的token对象支持直接获取类型（比如current_token.type），可以进一步简化逻辑：

def peek(self):
    # 构建需要跳过的类型集合
    skip_types = set()
    if self.skip_white_space:
        skip_types.add('WHITE_SPACE')
    if self.skip_EOF:
        skip_types.add('EOF')

    while not self.is_end():
        current_token = self.lines[self.line][self.column]
        if current_token.type in skip_types:
            self.consume()
        else:
            break
    return None if self.is_end() else self.lines[self.line][self.column]

优化说明 #

1. 解决无限循环问题：循环开头先判断is_end()，一旦到达文件结尾直接终止循环，避免原代码中可能出现的死循环（比如开启skip_EOF时，EOF状态下仍重复尝试consume的情况）。
2. 简化条件逻辑：把原有的冗长复合条件拆分成更直观的判断，或用集合统一管理需要跳过的类型，可读性和后续可维护性大幅提升。
3. 扩展性更强：后续要新增跳过类型（比如注释、空行）时，只需在集合中添加对应类型即可，无需修改复杂的条件表达式。

内容的提问来源于stack exchange，提问作者pawkw