如何在PySpark中获取ADLS路径下大Zip文件内文件的元数据？

问题背景 #

ADLS路径下存在大体积Zip文件，需要不解压获取其中文件的文件名、修改时间等元数据。现有代码通过binaryFile读取整个Zip二进制内容到内存，再用Python UDF解析，处理小文件正常，但大文件会触发内存溢出导致任务失败。

原代码问题分析 #

1. 内存加载瓶颈：binaryFile格式会将整个Zip文件的二进制内容完整加载到Executor内存中，大文件（如几十GB）直接超出内存限制。
2. 单进程处理：Python UDF以单进程方式解析整个Zip文件，未利用Spark的分布式计算能力，效率低且易触发OOM。

推荐解决方案：使用Hadoop ZipFileSystem #

Hadoop原生支持ZipFileSystem，可将Zip文件当作独立文件系统访问，无需加载整个文件到内存，完全分布式处理，是处理大Zip文件的最优方案。

实现代码 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

def get_zip_metadata(zip_file_adls_path):
    # 初始化SparkSession并配置ZipFileSystem
    spark = SparkSession.builder \
        .config("spark.hadoop.fs.zip.impl", "org.apache.hadoop.fs.ZipFileSystem") \
        .getOrCreate()
    
    # 构造ZipFS访问路径：格式为 zip://<ADLS完整路径>#/
    # 示例：原ADLS路径为 abfss://container@account.dfs.core.windows.net/data/large_file.zip
    zipfs_access_path = f"zip://{zip_file_adls_path}#/"
    
    # 读取Zip内所有文件的元数据
    metadata_df = spark.read.format("file") \
        .load(zipfs_access_path) \
        .select(
            col("path").alias("file_name"),
            col("modificationTime").alias("modification_time")
        )
    
    return metadata_df

说明 #

• ZipFileSystem会自动解析Zip文件的目录结构，仅读取元数据部分，无需加载整个文件内容。
• 支持分布式处理，Spark会将元数据读取任务分配到多个Executor，避免单节点内存压力。
• 直接获取Hadoop原生的文件元数据，包括修改时间、文件路径等，无需手动解析Zip格式。

备选方案：优化原有UDF方式（仅适用于无法配置ZipFS的场景） #

如果因集群限制无法使用ZipFS，可通过以下方式缓解内存压力：

1. 调整Spark内存配置：增加Executor内存（如--executor-memory 16G）和核心数，减少单Executor处理的文件数量。
2. 改用Pandas UDF：利用向量处理提升效率，但仍需加载整个文件到内存，仅适合中等大小的Zip文件。

注意事项 #

• 确保Spark集群具备ADLS访问权限，路径格式正确（如ABFS协议路径）。
• ZipFileSystem要求Hadoop版本2.7及以上，主流Spark集群均满足该条件。
• 若Zip文件加密，ZipFileSystem不支持，需使用其他加密Zip解析库结合流式处理。

内容的提问来源于stack exchange，提问作者Warrior q