Docker Compose环境下Spark无法识别postgresql jar文件问题

以下是可能的原因和对应解决方法：

• Bitnami Spark的默认JAR目录并非/opt/bitnami/spark/jars
  Bitnami官方镜像将额外依赖的默认扫描目录设为/opt/bitnami/spark/extra-jars，而非根目录下的jars。你可以把PostgreSQL JAR挂载到这个extra-jars目录，Spark启动时会自动加载该目录下的所有JAR包，无需手动配置spark.jars参数。

• 容器运行用户的权限隐性限制
  虽然你把JAR权限设为777，但Bitnami Spark默认以spark用户运行，可能存在容器内文件系统的权限继承问题。可以临时在docker-compose中指定以root用户启动（仅用于排查，生产环境不推荐），或者调整挂载文件的所属用户组与容器内spark用户一致。

• spark.jars路径配置的细节问题
  如果一定要手动指定路径，先检查路径拼写是否完全正确；也可以尝试使用相对路径（比如./jars/postgresql-42.7.4.jar，相对于Spark的工作目录）。另外，若使用集群模式，该路径必须在所有Spark节点上都存在；客户端模式下则要确保驱动进程能访问到目标路径。

• 卷挂载与服务启动的时序问题
  docker-compose的卷挂载可能晚于Spark服务启动，导致启动时JAR文件还未存在。可以在spark服务的command中添加等待逻辑，确保JAR文件存在后再启动Spark：

command: >
  sh -c "while [ ! -f /opt/bitnami/spark/jars/postgresql-42.7.4.jar ]; do sleep 1; done && /opt/bitnami/scripts/spark/run.sh"

内容的提问来源于stack exchange，提问作者Mary