如何在Scala中以编程方式启动独立模式Spark Master？

嘿，我来帮你搞定这个问题！要在Scala里实现和./sbin/start-master.sh完全一样的效果，其实有两种实用的思路，咱们一个个拆解来看：

其实start-master.sh脚本本质上就是帮你启动了org.apache.spark.deploy.master.Master这个类，并传递了对应的配置参数。所以在Scala代码里，你可以直接调用这个类的main方法，手动传入参数来启动Master：

import org.apache.spark.deploy.master.Master

object StartSparkMaster extends App {
  // 这里的参数和start-master.sh支持的选项完全对应
  // 比如指定主机、通信端口、WebUI端口，还可以用--conf传递Spark配置
  val masterArgs = Array(
    "--host", "localhost",
    "--port", "7077",
    "--webui-port", "8080",
    "--conf", "spark.deploy.recoveryMode=FILESYSTEM",
    "--conf", "spark.deploy.recoveryDirectory=/tmp/spark-recovery"
  )
  
  // 启动Master
  Master.main(masterArgs)
}

你可以根据自己的需求调整这些参数，比如修改主机名、端口，或者添加恢复模式相关的配置，和手动执行脚本时的参数逻辑完全一致。

如果你更倾向于直接复用官方的start-master.sh脚本（比如不想手动处理所有参数），也可以用Scala的ProcessBuilder来执行这个脚本，效果和你在终端里敲命令完全一样：

object StartSparkMasterViaScript extends App {
  // 优先从环境变量获取Spark安装路径，也可以手动指定
  val sparkHome = sys.env.getOrElse("SPARK_HOME", "/opt/spark")
  val startMasterPath = s"$sparkHome/sbin/start-master.sh"

  // 执行脚本，还可以追加参数，比如--host your-hostname
  val process = Process(Seq(startMasterPath, "--host", "your-hostname")).run()

  // 可选：等待脚本执行完成，获取退出码判断结果
  val exitCode = process.exitValue()
  if (exitCode == 0) {
    println("Spark Master启动成功啦！")
  } else {
    println(s"Spark Master启动失败，退出码：$exitCode")
  }
}

这种方法需要确保SPARK_HOME环境变量正确设置，或者手动指定你的Spark安装路径，同时要保证start-master.sh有可执行权限。

几个需要注意的小细节 #

• 不管用哪种方法，你的Scala项目都需要依赖Spark的核心模块。如果用sbt构建，可以在build.sbt里添加：

  libraryDependencies += "org.apache.spark" %% "spark-core" % "你的Spark版本" % "provided"
  

  （本地运行时可以去掉provided，避免找不到依赖；如果是打包提交到集群，保留provided可以避免依赖冲突）
• 启动成功后，你可以通过http://localhost:8080（如果改了端口就用对应的端口）访问Spark Master的Web UI，确认服务是否正常运行。

内容的提问来源于stack exchange，提问作者Joan