如何用Python从多个7z文件中批量提取指定文件？

针对你需要从50个7z文件中提取70万个指定jpg的需求，现有单文件提取方式效率太低，可通过以下几种优化方案实现批量高效提取：

1. 拆分文件列表+并行执行7zz命令 #

步骤1：拆分原始列表文件 #

先把记录所有文件的txt按7z文件分组，为每个7z生成单独的待提取文件列表。用Python写个简单脚本完成拆分：

from collections import defaultdict

# 读取原始总列表
with open('all_files.txt', 'r', encoding='utf-8') as f:
    lines = [line.strip() for line in f if line.strip()]

# 按7z文件名分组
file_groups = defaultdict(list)
for line in lines:
    zip_name, inner_path = line.split(', ', 1)  # 匹配示例中的逗号+空格分隔符
    file_groups[zip_name].append(inner_path)

# 为每个7z生成对应的列表文件
for zip_name, paths in file_groups.items():
    list_file = f"{zip_name}_files.txt"
    with open(list_file, 'w', encoding='utf-8') as f:
        f.write('\n'.join(paths))

步骤2：并行执行提取命令 #

利用多核CPU并行处理多个7z文件，减少总耗时。如果你的系统支持GNU Parallel，可以用以下命令：

# 创建输出目录，避免文件混乱
mkdir -p extracted

# 并行执行7zz提取，max-procs可根据硬件调整（SSD建议8-16，机械盘建议4-6）
parallel --max-procs 8 "7zz e {} -oextracted/ @{.}_files.txt" ::: *.7z

如果没有GNU Parallel，也可以用xargs结合后台执行（注意控制并发数）：

mkdir -p extracted
ls *.7z | xargs -P 8 -I {} sh -c '7zz e {} -oextracted/ @{.}_files.txt'

2. 用Python库直接批量处理（减少进程开销） #

频繁调用7zz子进程会产生额外开销，直接用Python的py7zr库操作7z文件，结合线程池并行处理，效率更高：

import py7zr
from concurrent.futures import ThreadPoolExecutor
from collections import defaultdict
import os

# 读取并分组文件列表
with open('all_files.txt', 'r', encoding='utf-8') as f:
    lines = [line.strip() for line in f if line.strip()]

file_groups = defaultdict(list)
for line in lines:
    zip_name, inner_path = line.split(', ', 1)
    file_groups[zip_name].append(inner_path)

# 创建统一输出目录
output_dir = 'extracted'
os.makedirs(output_dir, exist_ok=True)

def extract_from_zip(zip_file, target_paths):
    """从单个7z文件提取指定文件"""
    try:
        with py7zr.SevenZipFile(zip_file, mode='r') as zip_obj:
            # 只提取指定路径的文件
            zip_obj.extractall(path=output_dir, targets=target_paths)
        print(f"完成: {zip_file}")
    except Exception as e:
        print(f"{zip_file} 处理失败: {str(e)}")

# 线程池并行处理，max_workers根据硬件调整
with ThreadPoolExecutor(max_workers=8) as executor:
    for zip_name, paths in file_groups.items():
        executor.submit(extract_from_zip, zip_name, paths)

注意：如果是机械硬盘，不要设置过高的max_workers，避免磁盘IO成为瓶颈；SSD则可以适当提高。

额外优化建议 #

• 确保使用最新版本的7-Zip（或7zz），新版本在压缩/提取性能上有明显提升。
• 如果提取后不需要保留原路径结构，可以在7zz命令中加上-snh（不保留硬链接）、-snl（不保留符号链接）参数，进一步加快速度。

内容的提问来源于stack exchange，提问作者user3745883