Spark3.4.1+Hudi0.14环境下PySpark如何捕获特定Hudi异常？

可以精准捕获org.apache.hudi.exception.TableNotFoundException异常，无需依赖通用Exception。由于Hudi的异常是Java类，需要通过Py4J的Java网关机制在PySpark中引用该类，具体实现如下：

步骤1：导入Hudi异常类 #

在初始化SparkSession后，通过py4j的java_import工具导入目标异常类：

from py4j.java_gateway import java_import
from pyspark.sql import SparkSession

# 初始化SparkSession（需配置Hudi相关依赖）
spark = SparkSession.builder \
    .appName("HudiTableReader") \
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
    .config("spark.sql.extensions", "org.apache.spark.sql.hudi.HoodieSparkSessionExtension") \
    .getOrCreate()

# 导入Hudi的TableNotFoundException类
java_import(spark._jvm, "org.apache.hudi.exception.TableNotFoundException")

步骤2：在try/except块中捕获特定异常 #

直接使用映射后的Java异常类进行捕获，示例代码：

try:
    # 读取S3上的Hudi表路径
    hudi_df = spark.read.format("hudi").load("s3://target-bucket/hudi-table-prefix/")
    # 表存在时的业务逻辑
    hudi_df.show()
except spark._jvm.TableNotFoundException as e:
    # 仅处理Hudi表不存在的场景
    print(f"处理异常：指定路径下未找到Hudi表 - {str(e)}")
    # 可添加自定义逻辑，比如返回空DataFrame、记录告警日志等
except Exception as e:
    # 处理其他类型的异常（可选，按需保留）
    print(f"发生其他未预期异常：{str(e)}")

关键注意事项 #

• 依赖确保：Spark作业的类路径必须包含Hudi 0.14适配Spark 3.4的bundle包（如hudi-spark3.4-bundle_2.12-0.14.0.jar），否则会出现类找不到的错误。
• 异常引用方式：必须通过spark._jvm.TableNotFoundException引用该异常类，无法直接用Python的import语句导入Java类。
• 精准性优势：使用特定异常捕获可以避免误处理其他异常（比如S3存储桶权限不足、网络连接失败等），让异常逻辑更清晰。

内容的提问来源于stack exchange，提问作者lollerskates