如何在IntelliJ IDEA中使用spark-submit的--properties-file选项启动Spark应用

我之前也踩过这个坑，命令行用spark-submit的--properties-file参数一切正常，但在IntelliJ直接运行main类时怎么都加载不了配置文件。其实核心原因很明确：--properties-file是spark-submit的专属命令参数，不是JVM系统参数，所以直接塞进VM Options里JVM根本识别不了。下面给你几个亲测有效的解决办法：

方法1：用Spark专属系统属性指定配置文件 #

Spark内置了一个专门的系统属性spark.properties.file，用来替代命令行的--properties-file参数。你只需要在IntelliJ的VM Options里添加：

-Dspark.properties.file=/你的配置文件绝对路径/properties.conf

如果配置文件就在项目根目录下，也可以用相对路径（注意确认IntelliJ运行配置里的Working directory是项目根目录）：

-Dspark.properties.file=./properties.conf

这样Spark初始化时会自动读取这个配置文件里的参数，和命令行用--properties-file的效果完全一致。

方法2：代码中手动加载配置文件（更灵活） #

如果想让配置加载逻辑更通用（比如打包成jar后也能正常读取），可以在代码里显式加载配置文件：

方式A：直接指定文件路径 #

import org.apache.spark.SparkConf

val conf = new SparkConf()
  .load("/path/to/properties.conf") // 支持绝对路径或项目相对路径
val sc = new org.apache.spark.SparkContext(conf)

方式B：读取classpath资源（推荐） #

把properties.conf放到项目的src/main/resources目录下，然后用类加载器读取：

import org.apache.spark.SparkConf

val conf = new SparkConf()
  .load(getClass.getResourceAsStream("/properties.conf"))
val sc = new org.apache.spark.SparkContext(conf)

这种方式的好处是，配置文件会被打包进jar的classpath里，不管本地运行还是集群提交都能稳定读取。

方法3：完全模拟spark-submit运行（进阶） #

如果你想1:1复现命令行的运行环境，可以在IntelliJ里创建一个新的Application运行配置：

1. 把Main class设置为org.apache.spark.deploy.SparkSubmit
2. 在Program Arguments里填入完整的spark-submit参数：

--class "com.class.main" --master local --properties-file properties.conf ./target/scala-2.11/main.jar arg1 arg2 arg3 arg4

不过这种方式需要确保IntelliJ能正确关联Spark依赖和你的jar包，适合需要完全对齐命令行环境的场景。

最后可以在代码里加个打印验证配置是否加载成功：

println("param1加载结果：" + sc.getConf.get("param1"))

内容的提问来源于stack exchange，提问作者galix85