如何自定义Spark读取无目标文件时的错误提示信息？

我正在使用DataProcessor类中的SparkSession的spark_reader方法，代码如下：

from pyspark.sql import SparkSession

def spark_reader(spark: SparkSession, options: dict) -> DataFrame:
        df = spark.read.load(**options)
        return df

当该方法读取的文件夹中没有Parquet文件时，会抛出错误：AnalysisException: Unable to infer schema for Parquet. It must be specified manually.，我希望将其改为更具体的提示，比如folder contains no <file_type> files。我曾尝试在spark_reader方法中主动抛出异常，但Spark的默认错误会先触发，无法执行自定义异常，请问该如何修改错误信息？

要实现自定义错误提示，需要捕获Spark抛出的异常并针对性替换提示，具体实现如下：

• 导入Spark的AnalysisException用于捕获特定异常
• 从传入的options参数中提取目标文件类型（若未指定则默认Parquet）
• 在try-except块中捕获异常，判断错误信息是否属于无文件导致的schema推断失败场景，若是则抛出自定义提示，否则保留原异常

修改后的代码示例：

from pyspark.sql import SparkSession
from pyspark.sql.utils import AnalysisException
from pyspark.sql import DataFrame

def spark_reader(spark: SparkSession, options: dict) -> DataFrame:
    # 获取文件类型，默认使用parquet
    file_type = options.get("format", "parquet").lower()
    try:
        df = spark.read.load(**options)
        return df
    except AnalysisException as e:
        error_msg = str(e)
        # 匹配无文件导致的schema推断失败错误特征
        if f"Unable to infer schema for {file_type.capitalize()}" in error_msg:
            raise Exception(f"folder contains no {file_type} files") from e
        # 其他异常场景直接抛出原错误
        raise

说明 #

1. 文件类型兼容：通过options.get("format", "parquet")处理显式指定格式（如format='csv'）和默认Parquet的情况，保证提示中的文件类型准确
2. 异常判断：通过匹配错误信息中的特征字符串，精准定位到无文件导致的错误，避免误替换其他AnalysisException场景的提示
3. 异常上下文保留：使用raise ... from e可以保留原异常的堆栈信息，便于问题排查（若不需要可直接raise Exception(...)）

内容的提问来源于stack exchange，提问作者Terri Lowe