Spark 2在IntelliJ中运行时指定本地*-site.xml或类路径方法咨询

我来帮你梳理几个实用的方案，不管是想在代码里动态切换，还是在IntelliJ里配置运行参数，都能解决你要选择不同版本Hadoop配置文件的需求：

方案一：代码中直接指定配置文件路径 #

这个方法最灵活，不用改动IDE配置，直接在代码里加载你需要的外部配置文件。SparkConf提供了addResource方法，可以直接加载XML配置文件，示例代码如下：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object SparkTask {
  def main(args: Array[String]): Unit = {
    // 替换成你实际的配置文件路径，比如本地的dev/test/prod版本路径
    val coreSitePath = "/Users/marco/configs/prod/core-site.xml"
    val hiveSitePath = "/Users/marco/configs/prod/hive-site.xml"
    val hdfsSitePath = "/Users/marco/configs/prod/hdfs-site.xml"

    val sparkConf = new SparkConf()
      .setAppName("DynamicConfigSparkApp")
      .setMaster("local[*]") // 本地运行的master设置，集群模式可去掉
      .addResource(coreSitePath)
      .addResource(hiveSitePath)
      .addResource(hdfsSitePath)

    val spark = SparkSession.builder()
      .config(sparkConf)
      .enableHiveSupport()
      .getOrCreate()

    // 这里写你的Spark业务逻辑...

    spark.stop()
  }
}

如果想更灵活，还可以通过命令行参数传入配置路径，比如：

// 运行时传入第一个参数作为core-site.xml的路径
val coreSitePath = args(0)

这样每次运行只需要在IntelliJ的Program arguments里传入不同路径就行，不用改代码。

方案二：在IntelliJ中配置--driver-class-path参数 #

如果你习惯用spark-submit的参数方式，在IntelliJ里可以这么设置：

1. 打开运行配置：点击顶部菜单栏的Run -> Edit Configurations...
2. 找到你的Spark应用对应的配置项，切换到Program arguments输入框
3. 添加参数：--driver-class-path /path/to/your/config/folder/（注意这里是配置文件所在的目录，多个目录或文件用分号（Windows）/冒号（Linux/macOS）分隔）
4. 另外，也可以在VM options里添加：-Dspark.driver.extraClassPath=/path/to/your/config/folder/，效果完全一致

方案三：调整IntelliJ的Classpath优先级 #

你提到的Classpath entries配置，也可以用来优先加载指定的配置文件：

1. 同样打开Run -> Edit Configurations...，找到你的应用配置
2. 切换到Configuration标签页，下拉找到Classpath区域
3. 点击Add按钮，选择你要添加的配置文件或配置目录，然后把它拖动到Classpath列表的最顶部（确保它的优先级高于默认的target/classes，这样就会优先加载你指定的配置，而不是resources里的版本）

几个注意点 #

• 如果同时使用代码加载和IDE配置，代码里的addResource优先级更高
• 配置文件路径尽量用绝对路径，或者相对于项目根目录的相对路径（比如./configs/dev/core-site.xml）
• Windows系统路径用反斜杠\或者转义的双反斜杠\\，Linux/macOS用正斜杠/

内容的提问来源于stack exchange，提问作者Marco Catalano