Spark读取嵌套文件夹下Parquet文件时如何跳过空文件夹？

当你通过Spark读取包含空子文件夹的Parquet目录时，空文件夹无法提供Schema信息，会触发"Unable to infer schema for Parquet. It must be specified manually."错误。以下是几种可行的解决办法：

方法1：手动指定Schema #

直接提前定义好Parquet文件的Schema，Spark无需从文件中推断结构，空文件夹就不会导致报错。

示例代码：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 定义与目标Parquet文件匹配的Schema
custom_schema = StructType([
    StructField("col1", IntegerType(), nullable=True),
    StructField("col2", StringType(), nullable=True),
    # 根据实际字段补充剩余列定义
])

file_path = r'\mnt\output\Reports'
df1 = myspark.read.format("parquet")\
    .schema(custom_schema)\
    .load(file_path)
df1.show()

方法2：筛选非空文件夹后读取 #

先遍历目标目录，找出包含Parquet文件的子文件夹，再将这些有效路径传给Spark加载。

示例代码（Python）：

import os

def get_valid_parquet_folders(root_path):
    valid_paths = []
    for dirpath, _, filenames in os.walk(root_path):
        # 判断当前文件夹下是否存在.parquet文件
        if any(file.endswith('.parquet') for file in filenames):
            valid_paths.append(dirpath)
    return valid_paths

file_path = r'\mnt\output\Reports'
valid_folders = get_valid_parquet_folders(file_path)

# 加载所有有效文件夹中的Parquet文件
df1 = myspark.read.format("parquet").load(valid_folders)
df1.show()

如果是HDFS环境，可改用Hadoop的FileSystem API实现目录遍历，逻辑与上述一致。

方法3：通配符配合参数（场景受限） #

如果子文件夹命名有固定规律（比如示例中的reportid=*），可以用通配符指定读取范围，同时结合参数忽略异常文件，建议搭配手动指定Schema使用，避免空文件夹导致Schema推断失败：

file_path = r'\mnt\output\Reports\reportid=*'
df1 = myspark.read.format("parquet")\
    .option("ignoreMissingFiles", "true")\
    .schema(custom_schema)\
    .load(file_path)
df1.show()

内容的提问来源于stack exchange，提问作者MKG