Spark中SPARK_HOME指定目录相关问题及启动报错优化咨询

• 位置：该目录仅存在于Spark源码编译后的项目结构中，官方发布的二进制Spark发行包不会包含它。当你从Spark仓库克隆源码，执行sbt compile或mvn compile编译launcher模块后，才会在SPARK_HOME/launcher/target/下生成对应Scala版本的目录（如scala-2.13）。
• 用途：这是编译过程生成的临时输出目录，存放launcher模块编译后的class文件、中间产物，以及打包后的jar包（如spark-launcher_2.13-3.5.0.jar）。它仅用于Spark开发阶段的调试与模块构建，生产环境的二进制发行版无需依赖该目录。

报错根源 #

你遇到的Cannot find any build directories错误，源于Spark 3.5.0的AbstractCommandBuilder.getScalaVersion()函数逻辑缺陷：

1. 函数优先读取环境变量SPARK_SCALA_VERSION，若未设置，则通过检查SPARK_HOME/launcher/target/scala-2.13目录是否存在，直接判定Scala版本为2.13。
2. 但该目录仅在源码编译环境中存在，二进制发行版的Spark包无此目录，因此触发检查失败的异常。

临时解决方法 #

• 直接设置环境变量指定Scala版本：
  Linux/macOS下执行：

  export SPARK_SCALA_VERSION=2.13
  

  Windows下执行：

  set SPARK_SCALA_VERSION=2.13
  

• 也可在Spark配置文件（如spark-env.sh或spark-env.cmd）中添加该环境变量，确保每次启动自动加载。

函数优化建议 #

当前版本判定逻辑确实需要优化，以同时兼容源码编译环境和二进制发行版：

1. 优先从jar包文件名提取版本：二进制发行版的Spark核心jar包（如spark-core_2.13-3.5.0.jar）文件名包含明确的Scala版本标识，可通过解析SPARK_HOME/jars/下的jar文件名提取版本。
2. 回退到目录检查：若jar包解析失败（如源码环境未打包jar），再回退到检查launcher/target/scala-x.x目录的逻辑。
3. 支持多版本兼容：同时检查scala-2.12等常见版本目录，避免硬编码2.13。

优化后的逻辑示例（伪代码）：

String getScalaVersion() {
  // 优先读取环境变量
  String scala = getenv("SPARK_SCALA_VERSION");
  if (scala != null) {
    return scala;
  }

  String sparkHome = getSparkHome();
  // 尝试从jar包文件名提取Scala版本
  File jarsDir = new File(sparkHome, "jars");
  if (jarsDir.isDirectory()) {
    File[] jars = jarsDir.listFiles((dir, name) -> name.startsWith("spark-core_"));
    if (jars != null && jars.length > 0) {
      String jarName = jars[0].getName();
      // 解析spark-core_2.13-3.5.0.jar中的2.13
      scala = jarName.split("_")[1].split("-")[0];
      if (scala != null) {
        return scala;
      }
    }
  }

  // 回退到源码环境的目录检查
  File scala213 = new File(sparkHome, "launcher/target/scala-2.13");
  File scala212 = new File(sparkHome, "launcher/target/scala-2.12");
  checkState(scala213.isDirectory() || scala212.isDirectory(), "Cannot find any build directories.");
  return scala213.isDirectory() ? "2.13" : "2.12";
}

内容的提问来源于stack exchange，提问作者tribbloid