Spark执行Delta Lake代码报错：找不到spark_catalog插件类

报错核心原因 #

org.apache.spark.SparkException: Cannot find catalog plugin class for catalog 'spark_catalog': org.apache.spark.sql.delta.catalog.DeltaCatalog 本质是Spark未加载到Delta Lake核心依赖，且Jupyter环境无法直接通过spark-submit参数传递依赖，需在SparkSession初始化阶段完成配置。

解决方案 #

1. 安装版本匹配的Delta Python包 #

Spark 3.3.3需搭配Delta Lake 2.4.0版本，执行以下命令安装：

pip install delta-spark==2.4.0

2. 正确初始化带Delta配置的SparkSession #

在Jupyter中使用Delta提供的工具类自动处理依赖加载，示例代码：

from pyspark.sql import SparkSession
from delta import *

# 构建SparkSession并配置Delta扩展
spark_builder = SparkSession.builder \
    .appName("DeltaTableCreation") \
    .master("local[*]") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")

# 使用Delta工具类加载依赖并创建SparkSession
spark = configure_spark_with_delta_pip(spark_builder).getOrCreate()

configure_spark_with_delta_pip方法会自动下载并加载对应版本的Delta核心jar包，无需手动指定路径，适配Jupyter环境。

3. 手动指定jar包（备选方案） #

如果自动加载依赖失败，需下载与Spark 3.3.3匹配的Delta 2.4.0版本jar包，然后在SparkSession配置中添加：

spark_builder = SparkSession.builder \
    # 保留其他配置项
    .config("spark.jars", "/本地存储路径/delta-core_2.12-2.4.0.jar")

4. 验证配置与测试 #

配置完成后，先验证Catalog是否正常：

spark.sql("SHOW CATALOGS").show()

若输出包含spark_catalog，则配置生效。再执行CSV读取与Delta表创建：

# 读取CSV文件
csv_df = spark.read.csv("your_data.csv", header=True, inferSchema=True)

# 写入为路径存储的Delta表
csv_df.write.format("delta").mode("overwrite").save("./delta_table")

# 或者创建Hive风格的Delta表
csv_df.write.format("delta").mode("overwrite").saveAsTable("default.delta_table")

关键注意事项 #

• 必须严格匹配Spark与Delta Lake的版本：Spark 3.3.x对应Delta 2.4.x，版本不兼容会导致类找不到或初始化失败。
• Jupyter环境下不要依赖spark-submit的--packages参数，因为Jupyter的SparkContext是进程内直接初始化的，需通过代码配置依赖。

内容的提问来源于stack exchange，提问作者Andry