数百万个.bz2文件解压缩的并行化实现方案咨询

完全可以并行化处理，因为每个.bz2文件的解压操作是独立的，不存在依赖关系，正好能发挥多CPU核心服务器的优势，解决你当前串行处理速度慢的问题。

为什么原代码慢？ #

你的代码是单进程串行执行，一次只能处理一个文件，服务器的多核资源完全没利用起来，面对数百万个文件时效率自然极低。

两种高效并行解决方案 #

方案1：用Python multiprocessing模块实现多进程解压 #

直接基于你的代码改造，用进程池分配任务到多个CPU核心：

import os, glob, bz2, shutil
from multiprocessing import Pool

def extract_bz2(file_path):
    try:
        output_path = file_path[:-4]
        # 跳过已解压的文件（可选，避免重复操作）
        if os.path.exists(output_path):
            print(f"已存在，跳过: {output_path}")
            return
        with bz2.BZ2File(file_path) as fr, open(output_path, "wb") as fw:
            shutil.copyfileobj(fr, fw)
        print(f"完成解压: {file_path}")
    except Exception as e:
        print(f"解压失败 {file_path}: {str(e)}")

if __name__ == "__main__":
    files = glob.glob("/data01/*.bz2")
    # 进程数建议设为CPU核心数的1-2倍，os.cpu_count()会自动获取核心数
    with Pool(processes=os.cpu_count()) as pool:
        pool.map(extract_bz2, files)

• 关键说明：Pool会自动把文件列表分配给不同进程，同时处理多个文件；加try-except避免单个文件出错导致整个程序终止；可选跳过已解压文件，适合中断后重启。

方案2：用系统命令行工具（更轻量化） #

如果服务器装了GNU Parallel（大部分Linux发行版默认自带），直接在终端执行以下命令即可，无需写Python代码：

# 并行解压所有.bz2文件，自动适配CPU核心数
parallel bzip2 -d ::: /data01/*.bz2

# 如果需要保留原压缩文件，用-k参数
parallel bzip2 -dk ::: /data01/*.bz2

• 优势：命令行工具的效率通常比Python代码更高，而且无需处理进程管理的细节。

注意事项 #

• 磁盘IO限制：如果用的是机械硬盘，过多并行进程会导致磁盘读写冲突，反而变慢，建议把进程数设为CPU核心数的一半；如果是SSD则可以拉满核心数。
• 磁盘空间：提前确认目标磁盘有足够空间存放所有解压后的文件。
• 错误排查：如果用Python方案，建议打印日志，方便定位解压失败的文件；用命令行方案可以加--verbose参数查看详细过程。

内容的提问来源于stack exchange，提问作者Yuqi