在Databricks中解压嵌套多Zip文件遇错误，求解决方法

问题背景 #

有一个包含多个子Zip文件的父Zip文件，在Databricks Notebook中尝试一次性解压所有文件时出错。使用%sh unzip命令能解压父Zip，但处理子Zip时同样遇到问题，需要调整处理方式。

错误原因 #

你遇到的错误是因为unzip命令在遇到已存在的文件时会进入交互式询问模式（询问是否替换），但Databricks的%sh环境是非交互式的，无法响应这些询问，导致命令执行失败并返回非零状态码。

解决方案 #

1. 无交互解压父Zip文件 #

给unzip命令添加参数，跳过交互式询问：

• -o：强制覆盖已存在的文件
• -n：不覆盖已存在的文件
• -d：指定解压目录，避免与现有文件冲突

修改后的父Zip解压命令：

%sh
# 强制覆盖解压到指定目录
unzip -o /dbfs/FileStore/shared_uploads/sample.zip -d /dbfs/FileStore/shared_uploads/parent_unzip

2. 批量解压子Zip文件 #

不建议用手动逐个%sh unzip的方式，推荐用Python代码批量处理，更可控且避免交互问题。以下是两种实现方式：

方式一：使用Python的zipfile库（纯Python，无需调用shell）

import zipfile
from pathlib import Path

# 父Zip解压后的目录
parent_unzip_dir = "/dbfs/FileStore/shared_uploads/parent_unzip"
# 子Zip解压的目标根目录
child_unzip_root = "/dbfs/FileStore/shared_uploads/child_unzips"

# 创建目标目录
dbutils.fs.mkdirs(child_unzip_root)

# 遍历父目录下的所有zip文件
for zip_path in Path(parent_unzip_dir).glob("*.zip"):
    zip_name = zip_path.stem
    # 为每个子Zip创建单独的解压目录
    target_dir = f"{child_unzip_root}/{zip_name}"
    Path(target_dir).mkdir(exist_ok=True)
    
    # 解压子Zip
    with zipfile.ZipFile(zip_path, 'r') as zip_ref:
        zip_ref.extractall(target_dir)
    print(f"已解压 {zip_path.name} 到 {target_dir}")

方式二：调用shell命令批量处理（添加无交互参数）

import os
from pathlib import Path

parent_unzip_dir = "/dbfs/FileStore/shared_uploads/parent_unzip"
child_unzip_root = "/dbfs/FileStore/shared_uploads/child_unzips"

dbutils.fs.mkdirs(child_unzip_root)

for zip_path in Path(parent_unzip_dir).glob("*.zip"):
    zip_name = zip_path.stem
    target_dir = f"{child_unzip_root}/{zip_name}"
    # 用-o参数强制覆盖，-d指定目录
    os.system(f"unzip -o {zip_path} -d {target_dir}")
    print(f"已解压 {zip_path.name}")

关键注意事项 #

• 始终使用-o/-n参数避免交互询问，这是在Databricks非交互式环境下使用unzip的核心要点
• 为每个子Zip单独创建解压目录，避免不同子Zip内的文件互相覆盖
• 使用Python批量处理比手动执行多个%sh命令更高效，也便于后续维护

内容的提问来源于stack exchange，提问作者mb_eng