在AWS Glue Docker容器的Jupyter Notebook中导入DeltaTable遇pyspark.errors缺失错误

问题根源 #

你安装的delta-spark==3.0.0要求PySpark 3.4及以上版本，但你的环境是PySpark 3.3.0+amzn.1.dev0——pyspark.errors模块是PySpark 3.4才新增的，3.3版本没有这个模块，所以触发导入错误。

修复步骤 #

1. 卸载当前不兼容的delta-spark版本：

pip uninstall -y delta-spark

2. 安装与PySpark 3.3兼容的delta-spark版本（推荐2.4.0）：

pip install delta-spark==2.4.0

验证与SparkSession配置 #

安装完成后，启动SparkSession时需添加Delta相关配置，确保功能正常：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("DeltaGlueTest") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# 现在可以正常导入DeltaTable
from delta.tables import DeltaTable

内容的提问来源于stack exchange，提问作者Gurudev Kumar