Python如何筛选纯英文字符句子、避免结果列表重复追加

现有代码核心bug定位 #

• 重复存入问题：在内层逐词遍历循环中直接执行行追加操作，只要一行内有N个符合字符规则的词，就会被重复存入N次结果列表
• 校验逻辑方向错误：原逻辑是「行内只要存在至少一个英文字符就判定为有效」，但实际需求是「整行不存在任何非英文字符才算有效」，会误把夹杂少量英文的其他语言行纳入结果
• 隐藏的字符集缺陷：原定义的合法字符列表漏掉了小写字母o，会误判所有包含字母o的正常英文句子

调整思路 #

• 彻底分离校验和追加动作：对每一行做完整的全字符校验后，仅执行一次追加操作，从根源上避免重复存入
• 修正校验逻辑为白名单模式：构建覆盖英文字母、数字、英文常用标点、空格的合法字符集合，只要行内出现任何不在白名单内的字符（如ñ、带重音的西语字符、阿拉伯文字符），直接判定该行无效，跳过不存入结果
• 去掉冗余的逐词拆分步骤，直接逐字符遍历整行做校验，逻辑更简洁，校验效率更高

调整后可直接运行的代码 #

filename = "lorem.txt"

# 合法字符白名单：大小写英文字母、数字、英文常用标点、空格
allowed_chars = set(
    "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789 .,!?;:'\"()- "
)
output = []

with open(filename) as f:
    for line in f:
        stripped_line = line.strip()
        # 逐字符校验整行合法性
        is_valid = True
        for char in stripped_line:
            if char not in allowed_chars:
                is_valid = False
                break  # 发现无效字符直接终止校验，无需遍历剩余内容
        # 校验通过才执行单次追加，无重复问题
        if is_valid:
            output.append(stripped_line)

# 打印验证结果
for entry in output:
    print(entry)

运行效果说明 #

按照你提供的lorem.txt内容，代码最终输出的内容会完全符合预期：

• 第1行因包含ñ字符，不在白名单内，被筛除
• 第5行因包含带重音的西语字符（ó、á），不在白名单内，被筛除
• 第6行全为阿拉伯文字符，不在白名单内，被筛除
• 剩余编号为2、3、4、7的行，所有字符均在白名单覆盖范围内，会被完整存入输出列表，且每行仅存入一次，无重复。

内容的提问来源于stack exchange，提问作者Joey Joestar