本地PySpark安装Delta包报错：ivy-cache文件未找到

核心排查方向及解决步骤 #

1. 版本匹配问题 #

Delta Lake 0.8.0仅适配Spark 3.0.x版本，如果本地Spark版本不在这个范围内，必然会出现类加载失败的错误。

• 先验证Spark版本：

  spark-submit --version
  

• 版本不匹配时，要么将Spark升级/降级到3.0.x，要么更换对应Delta版本：比如Spark 3.1对应Delta 1.0.x，Spark 2.4对应Delta 0.7.x。

2. 手动放置Jar的正确姿势 #

手动添加Jar包时，需遵循规范路径：

• 把delta-core_2.12-0.8.0.jar和它的依赖包（比如delta-storage_2.12-0.8.0.jar）放到Spark安装目录下的jars文件夹里。
• 检查Spark的jars目录，删除任何旧版本的Delta Jar或可能冲突的依赖包。

3. 修复命令行参数格式 #

部分Shell环境对引号解析有问题，尝试调整命令参数写法：

• 去掉conf参数的引号：

  pyspark --packages io.delta:delta-core_2.12:0.8.0 --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
  

• 或者直接指定本地Jar的绝对路径，绕开自动下载：

  pyspark --jars /your/absolute/path/to/delta-core_2.12-0.8.0.jar --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
  

4. 解决依赖下载失败问题 #

如果是网络问题导致无法从Maven仓库拉取依赖：

• 手动从Maven仓库下载Delta 0.8.0的所有依赖Jar，全部放入Spark的jars目录。
• 或者在Spark配置文件spark/conf/spark-defaults.conf中添加国内Maven镜像加速：

  spark.jars.repositories https://maven.aliyun.com/repository/public
  

内容的提问来源于stack exchange，提问作者Avinash