基于Docker容器的Spark集群部署Scala应用遇空指针问题求助

1. 修复SparkSession创建时的NullPointerException #

你的空指针错误核心原因是spark.driver.host配置非法：

• 你设置的默认值local[*]是Spark本地模式的启动参数，并非合法主机名。当本地代码连接远程Docker集群时，driver的主机名必须是集群worker节点能直接访问到的物理机IP（不能用localhost，因为容器无法解析你本地的localhost），否则Spark Master无法和driver建立通信，触发空指针。

修改后的getSparkSessions函数：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import scala.util.Properties

object RepeatedPregelUtils {
  def getSparkSessions(appName: String): SparkSession = {
    val conf = new SparkConf()
      .setMaster(Properties.envOrElse("SPARK_MASTER_URL", "spark://spark-master:7077"))
      // 替换为你的物理机实际IP，或通过环境变量SPARK_DRIVER_HOST传入
      .set("spark.driver.host", Properties.envOrElse("SPARK_DRIVER_HOST", "192.168.x.x"))
      .set("spark.submit.deployMode", "client")
      .set("spark.driver.bindAddress", "0.0.0.0")
      .setAppName(appName)

    SparkSession.builder.config(conf).getOrCreate()
  }
}

2. 解决集群数据访问问题 #

你代码中使用的本地路径src/main/scala/NewUpdatedSwedenNetwork.csv无法被Docker集群的worker节点访问，会导致后续数据读取失败，可选方案：

• 共享存储挂载：将CSV文件所在目录通过Docker卷挂载到所有Spark容器的同一路径（比如/data），代码中用/data/NewUpdatedSwedenNetwork.csv读取
• spark-submit上传：提交应用时用--files参数上传文件，代码中直接用文件名读取（Spark会自动分发到worker节点）
• HDFS存储：如果集群搭配了HDFS，将文件上传到HDFS后用hdfs://spark-master:9000/path/to/file.csv读取

3. 正确部署Scala应用到Bitnami Spark集群 #

步骤1：打包应用为可执行JAR #

在IntelliJ中通过Maven/Gradle/sbt打包成包含依赖的胖JAR（sbt可执行sbt assembly命令），注意Spark GraphX依赖要和集群版本匹配，比如sbt的build.sbt需添加：

libraryDependencies += "org.apache.spark" %% "spark-graphx" % "3.x.x" % Provided

步骤2：上传JAR到Spark Master容器 #

docker cp your-app.jar spark-master:/tmp/

步骤3：进入Master容器执行提交命令 #

docker exec -it spark-master bash

执行spark-submit（替换主类名、JAR路径和物理机IP）：

spark-submit \
  --master spark://spark-master:7077 \
  --deploy-mode client \
  --driver-host <你的物理机IP> \
  --class com.yourpackage.YourMainClass \
  /tmp/your-app.jar

4. 确保图分区分配到不同容器 #

• 调整csvFile.repartition(N)中的N值，建议设置为worker节点数的2-4倍（比如2个worker就设为4），让Spark能将分区均匀分配到不同容器
• 提交应用后可通过Spark Master的Web UI（默认http://spark-master:8080）查看任务的分区分配情况，确认分布式执行状态

内容的提问来源于stack exchange，提问作者Gaspegre