十万级文件场景下，快速将tar.gz解压并替换指定路径的方法

我有一个.tar.gz文件，内部文件路径如下：

folder1/folder2/folder3/imp_folder1/file11.jpg
folder1/folder2/folder3/imp_folder1/file12.jpg
folder1/folder2/folder3/imp_folder2/file21.jpg
folder1/folder2/folder3/imp_folder3/file31.jpg
...

需要将其解压到如下路径：

/new_folder1/new_folder2/imp_folder1/file11.jpg
/new_folder1/new_folder2/imp_folder1/file12.jpg
/new_folder1/new_folder2/imp_folder2/file21.jpg
/new_folder1/new_folder2/imp_folder3/file31.jpg
...

核心需求是把路径中的folder1/folder2/folder3/替换为/new_folder1/new_folder2/，同时自动创建不存在的imp_*目录。

目前我的实现是遍历tar包内所有成员，生成目标路径后执行以下操作，但文件数量达十万级，处理速度极慢：

input_file  = tar.extractfile(member)
with open(image_path_local, 'w') as output_file:
     output_file.write(input_file.read())
input_file.close()

优先使用系统tar命令行工具（推荐） #

系统自带的tar命令是C语言实现的底层工具，处理大数量文件的速度远快于Python脚本，直接通过--transform参数实现路径替换，还会自动创建所需目录：

tar -xzf your_file.tar.gz --transform 's|folder1/folder2/folder3/|/new_folder1/new_folder2/|'

参数说明：

• -x：解压模式
• -z：处理gzip压缩的tar包
• -f：指定要处理的tar包文件
• --transform：使用sed风格的正则替换，将原路径前缀替换为目标前缀

若必须用Python实现的优化方案 #

不要手动读写文件，直接修改tar成员的路径属性后调用tar.extract()，该方法利用tar库的底层IO优化，且自动处理目录创建：

import tarfile

with tarfile.open("your_file.tar.gz", "r:gz") as tar:
    old_prefix = "folder1/folder2/folder3/"
    new_prefix = "/new_folder1/new_folder2/"
    for member in tar.getmembers():
        # 仅处理文件（跳过目录成员，避免重复创建）
        if member.isfile() and member.name.startswith(old_prefix):
            # 替换路径前缀，只替换一次避免误匹配
            member.name = member.name.replace(old_prefix, new_prefix, 1)
            # 自动创建目录并提取文件
            tar.extract(member)

为什么原方法速度慢？ #

原代码通过extractfile()读取文件内容后手动写入本地，属于纯Python层面的IO操作，没有利用tar库的底层优化；且十万级文件的逐个打开、关闭操作会带来巨大的系统开销，导致处理速度极慢。

内容的提问来源于stack exchange，提问作者thatGuy