如何用Python正则更高效、可扩展地清理文本文件？

我正在编写脚本，用于匹配并移除一系列文本文件中的正则表达式匹配内容。目前的脚本虽能满足需求，但效率低下且扩展性不足：

import os
import re

os.chdir("/home/user1/test_files")

patterns = ['(bannana)',
            '(peaches)',
            '(apples)'
           ]

subst = ""
cwd = os.getcwd()
for filename in os.listdir(cwd):
    with open(filename, 'r', encoding="utf8") as f:
        file = f.read()
    result = re.sub('|'.join(patterns), subst, file, re.MULTILINE)
    with open("/home/user1/output_files/" + "output_" + str(filename), 'w', encoding="utf-8") as newfile:
        newfile.write(result)

    for pattern in patterns:
        with open('/home/user1/output_files/output_'+str(filename), 'r', encoding="utf8") as f:
            file = f.read()
        result = re.sub(pattern, subst, file, re.MULTILINE)
        with open('/home/user1/output_files/output_'+str(filename), 'w', encoding="utf-8") as newfile:
            newfile.write(result)

比如我想移除grocery.txt中的apples、peaches和bannana，当前脚本会先生成output_grocery.txt，再逐个遍历正则模式反复读写文件。这种方式无法应对后续上百个文件及大量正则模式的场景。我曾尝试通过result = re.sub('|'.join(patterns), subst, file, re.MULTILINE)一次性移除所有匹配内容，但仅能移除第一个模式（如bannana）。请问是否存在更优、更具扩展性的实现方式？

核心优化点 #

• 预编译正则表达式，减少重复解析的性能开销
• 单个文件仅执行一次读取、一次写入操作，彻底消除重复IO的低效问题
• 简化正则模式构造，避免不必要的分组干扰

优化后的代码 #

import os
import re

# 配置参数，集中管理方便后续修改
SOURCE_DIR = "/home/user1/test_files"
OUTPUT_DIR = "/home/user1/output_files"
PATTERNS = ['bannana', 'peaches', 'apples']
SUBST = ""

# 预编译正则：用|拼接所有模式，匹配任意一个目标字符串
# 若需要忽略大小写，可添加re.IGNORECASE参数
regex = re.compile('|'.join(PATTERNS), re.MULTILINE)

# 确保输出目录存在，不存在则自动创建
os.makedirs(OUTPUT_DIR, exist_ok=True)

# 遍历源目录下的所有文件
for filename in os.listdir(SOURCE_DIR):
    file_path = os.path.join(SOURCE_DIR, filename)
    # 跳过子目录，只处理文件
    if not os.path.isfile(file_path):
        continue
    
    # 一次性读取原文件全部内容
    with open(file_path, 'r', encoding="utf8") as f:
        content = f.read()
    
    # 单次替换完成所有目标内容的移除
    processed_content = regex.sub(SUBST, content)
    
    # 写入处理后的内容到输出文件
    output_path = os.path.join(OUTPUT_DIR, f"output_{filename}")
    with open(output_path, 'w', encoding="utf-8") as newfile:
        newfile.write(processed_content)

关键细节说明 #

1. 预编译正则的优势：re.compile()仅执行一次，后续所有文件的替换操作都复用这个已编译的正则对象，在处理大量模式或文件时，能显著提升匹配效率。
2. 解决原脚本的IO问题：原脚本中对同一个输出文件多次打开、读写，严重拖慢效率；优化后每个文件仅做一次读、一次写操作，IO开销降至最低。
3. 正则模式的正确构造：原脚本中给每个模式添加括号(bannana)属于冗余操作（除非需要捕获分组做后续处理），直接使用字符串拼接即可。如果你的实际模式包含正则特殊字符（如.、*、?等），需要用re.escape()自动转义，避免正则语法冲突：

   # 处理含特殊字符的模式时自动转义
   regex = re.compile('|'.join(re.escape(p) for p in PATTERNS), re.MULTILINE)
   

4. 扩展性提升：新增匹配模式只需在PATTERNS列表中添加即可，核心逻辑无需修改；即使处理上百个文件，也能保持高效运行。

内容的提问来源于stack exchange，提问作者SVill