跨代码仓库重构Import语句：大仓库批量替换导入路径的Python代码实现及内存优化问询

这是个非常常见的大型代码仓库重构需求，我来帮你完善代码并实现无需加载整个文件到内存的方案：

先修正你现有代码的核心问题 #

你的初始代码有两个致命问题：

• 打开文件用了'a'追加模式，根本无法读取文件内容，应该用'r'只读模式
• process_file函数中，遇到非from开头的行就直接return，这会导致只处理文件第一行就退出，完全不符合遍历所有行的需求

推荐方案：逐行处理 + 临时文件（低内存占用） #

这种方法专门针对大型文件/仓库设计，每次只处理一行内容，内存占用可以忽略不计。核心逻辑是：

• 只遍历Python源码文件（避免误改无关文件）
• 逐行读取原文件，匹配并替换目标导入语句
• 将处理后的内容写入临时文件
• 用临时文件原子替换原文件（避免修改过程中损坏文件）

完整实现代码 #

import os
import re
from tempfile import NamedTemporaryFile

def refactor_imports(rootdir, old_location, new_location):
    # 构建正则表达式：匹配 "from <old_location> import ..." 格式的行
    # 使用 re.escape 处理旧路径中的特殊字符，避免正则语法冲突
    import_pattern = re.compile(
        r'^from\s+' + re.escape(old_location) + r'\s+import\s+(.+)$',
        re.MULTILINE
    )
    
    for subdir, dirs, files in os.walk(rootdir):
        # 可选：跳过虚拟环境、第三方依赖等不需要修改的目录
        if 'venv' in dirs:
            dirs.remove('venv')
        if '__pycache__' in dirs:
            dirs.remove('__pycache__')
            
        for file in files:
            # 只处理 Python 源码文件
            if not file.endswith('.py'):
                continue
            file_path = os.path.join(subdir, file)
            process_file(file_path, import_pattern, new_location)

def process_file(file_path, import_pattern, new_location):
    # 创建临时文件，用于写入处理后的内容
    with NamedTemporaryFile(mode='w', encoding='utf-8', delete=False) as temp_file:
        # 逐行读取原文件
        with open(file_path, 'r', encoding='utf-8') as original_file:
            for line in original_file:
                # 替换匹配到的导入语句
                modified_line = import_pattern.sub(
                    f'from {new_location} import \\1',
                    line
                )
                temp_file.write(modified_line)
    
    # 原子替换原文件（保证文件修改的安全性）
    os.replace(temp_file.name, file_path)

代码说明 #

• 正则匹配：使用re.escape处理旧导入路径，避免路径中的特殊字符（如.、-）干扰正则语法
• 低内存占用：逐行读取和写入，完全不会将整个文件加载到内存，适合GB级别的超大文件
• 文件安全：用临时文件+原子替换的方式，避免修改过程中因程序崩溃导致原文件损坏
• 过滤无关内容：自动跳过非Python文件和无需修改的目录，提升处理效率

重要注意事项 #

• 先备份！ 在正式运行前，务必备份整个代码仓库，或者在测试分支上先验证效果
• 测试正则：可以先单独用几个测试行验证正则表达式是否能正确匹配你的导入语句（比如带空格的格式、别名导入等）
• 编码支持：指定encoding='utf-8'确保在不同操作系统下都能正确处理文件编码
• 多行导入：如果你的代码中有多行导入（如from old_location import (a, b, c)），需要调整正则表达式来支持，比如修改为匹配跨行的模式

内容的提问来源于stack exchange，提问作者Eliran Turgeman