Mac OS X High Sierra 10.13.2下Spark/Scala环境变量配置咨询（终端/IntelliJ）

Hey there! Let's walk through how to set up Spark environment variables for Scala so they work smoothly both in your terminal and IntelliJ. Here's a step-by-step breakdown tailored to your setup:

一、终端环境配置（Bash） #

从你的隐藏文件来看，你用的是Bash shell，所以我们会修改Bash的配置文件：

1. 确认Spark安装路径
   首先找到你的Spark安装目录。如果不确定，运行以下命令查找：

   find / -name spark 2>/dev/null
   

   通常路径可能是/usr/local/spark或者你自己解压的~/spark-3.5.0-bin-hadoop3这类路径。记好这个路径，后面要用。

2. 编辑Bash配置文件
   打开你的~/.bash_profile（如果这个文件不存在，直接创建一个）：

   nano ~/.bash_profile
   

   添加以下环境变量配置（替换成你的实际路径）：

   # Spark & Scala Environment Variables
   export SPARK_HOME=/path/to/your/spark/directory
   export PATH=$SPARK_HOME/bin:$PATH
   
   # 如果你单独安装了Scala，添加下面两行；如果Spark自带Scala，可跳过
   export SCALA_HOME=/path/to/your/scala/directory
   export PATH=$SCALA_HOME/bin:$PATH
   

3. 生效配置并验证
   保存退出后，运行以下命令让配置立即生效：

   source ~/.bash_profile
   

   验证是否成功：

   • 运行echo $SPARK_HOME，应该输出你的Spark路径
   • 运行spark-shell，应该能正常启动Scala版的Spark交互Shell

二、IntelliJ环境配置 #

IntelliJ可以通过两种方式读取环境变量，我们分全局和项目级来配置：

1. 全局配置（所有新项目生效） #

这个配置会让所有新建的Scala/Spark项目都能读取到Spark环境变量：

• 打开IntelliJ，点击File -> New Projects Setup -> Structure for New Projects
• 在左侧菜单选择SDKs，点击+添加Scala SDK（如果还没加），选择Spark自带的Scala或者你单独安装的版本
• 然后切换到Path Variables（在Appearance & Behavior -> System Settings -> Path Variables）
• 点击+，添加变量SPARK_HOME，值填你的Spark安装路径；如果需要的话，再添加SCALA_HOME

2. 项目级配置（针对现有项目） #

如果是已经存在的项目，还可以单独配置运行环境：

• 打开项目后，点击Run -> Edit Configurations
• 选择你要运行的Scala应用配置（比如Application类型）
• 在Environment Variables栏点击...按钮，添加SPARK_HOME=/path/to/your/spark，或者勾选Include system environment variables来直接读取终端的配置
• 另外，确保你的build.sbt里添加了正确的Spark依赖（以Spark 3.5.0为例）：

  libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "3.5.0",
    "org.apache.spark" %% "spark-sql" % "3.5.0"
  )
  

3. 验证IntelliJ配置 #

写一个简单的测试程序验证环境变量是否生效：

object SparkEnvChecker {
  def main(args: Array[String]): Unit = {
    println("SPARK_HOME from IntelliJ: " + System.getenv("SPARK_HOME"))
  }
}

运行这个程序，如果输出正确的Spark路径，就说明配置成功了！

小提示 #

• 如果你用的是Zsh（macOS Catalina及以后默认），需要编辑~/.zshrc而不是~/.bash_profile，配置内容是一样的
• Spark通常自带Scala，所以如果没有特殊需求，不需要单独安装Scala，直接用Spark自带的版本即可

内容的提问来源于stack exchange，提问作者Tolga