Mac本地PySpark与Delta-Spark版本兼容问题排查求助

1. Java版本兼容性问题 #

Spark 3.4.1虽标称支持Java 8及以上，但对Java 21的兼容性尚未完全适配，底层依赖Unsafe API的类（如org.apache.spark.unsafe.array.ByteArrayMethods）在高版本Java中可能出现初始化失败。官方更推荐使用Java 8或Java 11。

解决步骤：

• 安装OpenJDK 11/8，重新配置JAVA_HOME指向对应版本
• 终端执行以下命令验证配置生效：

  echo $JAVA_HOME
  java -version
  

2. Delta Lake与Spark版本不匹配 #

delta-spark 2.4.0仅兼容Spark 3.3.x系列，与你使用的Spark 3.4.1版本不匹配，会导致依赖冲突引发类加载异常。

解决步骤：

• 卸载现有delta-spark，安装适配Spark 3.4.1的版本：

  pip uninstall delta-spark -y
  pip install delta-spark==2.5.0
  

3. 启动PySpark时需明确加载Delta依赖 #

即使安装了delta-spark，启动会话时需指定Delta的Jar包，否则Spark无法识别Delta相关组件，可能间接触发类加载错误。

解决步骤：

• 修改PYSPARK_SUBMIT_ARGS环境变量，添加Delta依赖：

  export PYSPARK_SUBMIT_ARGS="--master local[3] --packages io.delta:delta-core_2.12:2.5.0,io.delta:delta-storage_2.12:2.5.0 pyspark-shell"
  

  注：Scala版本2.12需与Spark 3.4.1内置版本保持一致，Jar包版本需与安装的delta-spark版本匹配。

4. 验证虚拟环境依赖纯净度 #

检查虚拟环境中是否存在多版本PySpark/delta-spark/py4j共存的情况：

• 执行以下命令查看依赖版本：

  pip list | grep -E "pyspark|delta-spark|py4j"
  

• 确保输出仅包含指定版本（pyspark 3.4.1、delta-spark 2.5.0、py4j 0.10.9.7），若有多余版本，卸载后重新安装指定版本。

内容的提问来源于stack exchange，提问作者Aavik