如何在Python中加快zip文件的解压速度？

你提供的代码除了make_dict函数外，确实存在几处明显会拖慢执行效率的问题：

• 无效遍历与异常开销：z.namelist()会返回压缩包内所有条目，包括目录、符号链接等非文件类型，你直接遍历所有条目并尝试打开，非文件条目会触发异常走捕获逻辑，异常捕获和无效IO操作本身就有不小的开销，尤其是压缩包内目录较多时影响更明显。
• 裸异常捕获的额外开销：代码里用了无限制的except:，会捕获所有类型的异常（包括系统中断、内存不足等非业务异常），同时频繁执行print打印操作，终端IO是非常慢的操作，错误条目较多时会拖慢整体速度。
• 元数据重复查询开销：用namelist()获取文件名后，调用z.open()时底层会再查询一次该文件名对应的压缩元数据，多了一次重复查询的开销。

优化后的代码示例 #

from zipfile import ZipFile

def go_through_zip(zipname):
    out = {}
    
    with ZipFile(zipname) as z:
        # 直接用infolist获取所有条目元数据，一次查询即可，同时可以过滤非文件
        for file_info in z.infolist():
            # 跳过目录、符号链接等非文件条目
            if not file_info.is_file():
                continue
            # 直接用元数据打开文件，不需要重复查询
            with z.open(file_info) as f:
                try:
                    outdict = make_dict(f)
                    out.update(outdict)
                # 只捕获你需要处理的解析相关异常，可根据实际业务调整捕获的异常类型
                except (ValueError,):
                    # 非必要可以注释打印，或者输出到本地日志避免终端IO开销
                    # print("File is not in the correct format")
                    pass
    
    return out 

可选进阶优化（仅适用于压缩包内文件数量极多的场景） #

• 可以采用多线程并行处理：先读取所有文件元数据，再拆分到多个线程，每个线程单独创建ZipFile实例读取对应文件（ZipFile实例本身不是线程安全的，不要多线程共享同一个实例），IO密集型场景下多线程收益非常明显。
• 如果out字典的update操作因为outdict体积大、调用次数多产生开销，可以先把所有返回的outdict存到一个列表中，最后遍历列表一次性合并到最终字典里。

内容的提问来源于stack exchange，提问作者Ada