Spark与Kafka集成报错：basedir需为绝对路径，求教Ivy相关问题

报错原因 #

这个异常是因为Ivy无法找到合法的绝对路径作为依赖缓存目录：
Ivy默认使用$HOME/.ivy2作为缓存目录，但你的Spark容器中HOME环境变量未正确设置，导致路径解析为?/.ivy2/local（?代表未定义的环境变量），触发参数合法性校验失败。

解决方法 #

方法1：配置容器HOME环境变量 #

在docker-compose.yml的spark-master服务中添加HOME环境变量，指定一个容器内存在的绝对路径：

spark-master:
  image: bitnami/spark:3.4.1
  container_name: spark-master
  environment:
    - JAVA_HOME=/opt/bitnami/java
    - SPARK_MODE=master
    - HOME=/home/spark  # 添加此行，指定容器内用户主目录
  ports:
    - 8080:8080
    - 7077:7077
    - 4040:4040
  volumes:
    - ./scripts/spark-entrypoint.sh:/scripts/spark-entrypoint.sh
    - ./data:/data
  entrypoint: /scripts/spark-entrypoint.sh

方法2：明确指定Ivy缓存目录并确保权限 #

修改spark-entrypoint.sh，先创建有权限的缓存目录，再通过spark.jars.ivy指定该目录：

#!/bin/bash
pip install -r "/scripts/requirements.txt"
# 创建Ivy缓存目录并赋予读写权限
mkdir -p /tmp/ivy-cache && chmod 777 /tmp/ivy-cache
# 明确指定Ivy缓存目录，避免依赖HOME变量
spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.4.1 --conf spark.jars.ivy=/tmp/ivy-cache ws.py

Ivy与Spark的关系 #

• Ivy是Java生态的依赖管理工具：和Maven功能类似，负责解析、下载、缓存项目所需的JAR包及其依赖，避免重复下载资源。
• Spark依赖Ivy处理外部依赖：当你用spark-submit的--packages参数引入第三方依赖（比如Spark-Kafka集成包）时，Spark会调用Ivy自动下载这些依赖包，并缓存到指定目录（默认是$HOME/.ivy2/cache），后续提交任务可直接复用缓存，提升启动效率。
• 容器环境中如果未配置HOME或指定的缓存路径不合法，Ivy就会抛出路径异常，导致Spark任务启动失败。

内容的提问来源于stack exchange，提问作者RomainM