如何在Azure Databricks Jar作业中传递Spark配置参数？

方法一：任务级配置直接添加 #

在创建Jar上传任务时，通过任务的Spark配置字段传入参数：

1. 进入Databricks工作区创建新任务，任务类型选择「Jar」，上传你的Scala Spring Boot Jar包并指定主类。
2. 展开「高级选项」，找到「Spark配置」输入区域。
3. 逐行添加以下配置（无需加--conf，采用键 值格式）：

   spark.driver.extraJavaOptions -Dspring.profiles.active=test
   spark.executor.extraJavaOptions -Dspring.profiles.active=test
   

方法二：集群级全局配置（多任务复用场景） #

如果多个任务都需要该Spring配置，可在集群层面预先设置：

1. 进入目标集群的详情页，点击「编辑」。
2. 切换到「Spark」标签，找到「Spark配置」区域。
3. 添加同样的两行配置：

   spark.driver.extraJavaOptions -Dspring.profiles.active=test
   spark.executor.extraJavaOptions -Dspring.profiles.active=test
   

4. 重启集群后，所有提交到该集群的Jar任务会自动应用这些配置。

额外提示 #

• 若你的Spring Boot应用仅在Driver端运行（无分布式计算逻辑），仅配置spark.driver.extraJavaOptions即可，无需设置executor侧参数。
• 确保主类路径正确，Spring Boot应用的主类通常是带有@SpringBootApplication注解的类，格式如com.yourpackage.YourApplication。

内容的提问来源于stack exchange，提问作者Soumya