如何避免Spark读取S3中无匹配路径的文件？

针对你遇到的因目录下无匹配Parquet文件导致的报错，可通过以下几种方式解决：

方法1：提前筛选存在的Parquet文件路径 #

先通过S3 SDK（如boto3）列出所有符合条件的Parquet文件，再将这些路径传给Spark读取，从根源避免扫描空目录：

import boto3

# 初始化S3客户端
s3 = boto3.client('s3')
bucket = 'test-shivi'

# 列出bucket下所有.parquet文件
response = s3.list_objects_v2(Bucket=bucket, Prefix='', Delimiter='/')
parquet_files = []

# 遍历所有对象
for obj in response.get('Contents', []):
    if obj['Key'].endswith('.parquet'):
        parquet_files.append(f's3a://{bucket}/{obj["Key"]}')

# 处理分页结果
while response.get('IsTruncated'):
    response = s3.list_objects_v2(Bucket=bucket, Prefix='', Delimiter='/', ContinuationToken=response['NextContinuationToken'])
    for obj in response.get('Contents', []):
        if obj['Key'].endswith('.parquet'):
            parquet_files.append(f's3a://{bucket}/{obj["Key"]}')

# 读取筛选后的文件
df = spark.read.parquet(*parquet_files, schema=spark_schema)

方法2：使用Spark的pathGlobFilter参数 #

利用Spark内置的文件过滤选项，指定只扫描.parquet后缀的文件，自动忽略空目录：

df = spark.read.schema(spark_schema) \
    .option("pathGlobFilter", "*.parquet") \
    .parquet("s3a://test-shivi/")

该参数会递归扫描目标路径下的所有子目录，仅加载符合文件名规则的文件，无匹配文件的目录会被直接跳过。

方法3：开启Spark忽略缺失文件的配置 #

通过设置Spark配置，让其忽略不存在的路径或空目录，避免抛出报错：

# 配置Spark忽略缺失文件
spark.conf.set("spark.sql.files.ignoreMissingFiles", "true")
spark.conf.set("spark.sql.files.ignoreCorruptFiles", "true")  # 可选，同时忽略损坏文件

# 执行读取操作
df = spark.read.parquet("s3a://test-shivi/*.*.parquet", schema=spark_schema)

开启spark.sql.files.ignoreMissingFiles后，Spark遇到不存在的路径时会直接跳过，不会触发AnalysisException报错。

内容的提问来源于stack exchange，提问作者Shivangi Singh