如何防止spark-submit的--conf覆盖spark-defaults.conf配置

Spark的--conf参数本质是追加而非完全覆盖spark-defaults.conf的配置——只有当用户通过--conf设置了和你相同的配置key时，才会覆盖对应项。要实现你要的「核心配置始终生效、用户配置仅追加不冲突」的需求，得从代码逻辑和部署策略两方面入手，以下是具体方案：

一、确保核心配置不被覆盖的技术方案 #

1. 利用Spark扩展机制强制注入配置（推荐） #

在你的SQL捕获JAR包中，通过Spark的扩展机制，在SparkSession初始化阶段强制锁定核心配置，忽略用户传入的冲突值。示例代码（Scala）：

import org.apache.spark.sql.SparkSession

object SQLCaptureBootstrap {
  def setup(spark: SparkSession): Unit = {
    // 强制设置核心配置，覆盖用户可能传入的冲突项
    spark.conf.set("spark.sql.query.capture.enabled", "true")
    spark.conf.set("spark.sql.query.capture.output.path", "/var/log/spark-sql-queries/")
    // 其他不可被覆盖的配置...
  }
}

你可以通过ServiceLoader机制让Spark自动加载这个初始化逻辑（实现SparkSessionExtension接口），或者在JAR包的入口类中主动触发。这样无论用户怎么用--conf修改，你的核心配置都会被强制生效。

2. 通过JVM系统属性传递核心配置 #

将核心配置通过JVM系统属性传递，在代码中直接读取系统属性而非Spark配置——系统属性的优先级不受Spark配置覆盖影响，只要JVM启动时传入就会一直生效。

• 在spark-defaults.conf中添加：

spark.driver.extraJavaOptions=-Dsql.capture.enabled=true -Dsql.capture.output.path=/var/log/spark-sql-queries/
spark.executor.extraJavaOptions=-Dsql.capture.enabled=true -Dsql.capture.output.path=/var/log/spark-sql-queries/

• 在你的JAR包代码中读取：

boolean captureEnabled = Boolean.getBoolean("sql.capture.enabled");
String outputPath = System.getProperty("sql.capture.output.path", "/default/log/path/");

3. 提供封装好的Spark启动脚本 #

为用户提供自定义的启动脚本（比如spark-shell-with-capture.sh），在脚本中自动追加你的核心配置，再调用官方的Spark启动命令。示例脚本：

#!/bin/bash
# 固定追加你的核心配置
MY_CORE_CONFS="--conf spark.sql.query.capture.enabled=true --conf spark.sql.query.capture.output.path=/var/log/spark-sql-queries/"
# 合并用户传入的所有参数，调用官方脚本
$SPARK_HOME/bin/spark-submit $MY_CORE_CONFS "$@"

用户使用这个脚本启动时，你的配置会被自动加入，用户传入的--conf只会追加（除非用户设置了相同key，这时你可以在脚本中加入检查逻辑，打印告警提示）。

二、避免核心配置被覆盖的最佳实践 #

• 区分核心配置与可配置项：把SQL捕获开关、核心输出路径等设为核心配置，在代码中强制锁定；把日志级别、采样比例等设为可配置项，允许用户通过--conf调整。
• 配置校验与告警：在JAR包初始化时，检查用户是否设置了与核心配置冲突的参数，如果有则打印警告日志，并强制恢复为默认值。
• 明确文档说明：在用户手册中清晰标注哪些配置是核心不可修改的，哪些是可调整的，避免用户误操作。
• 利用Spark只读配置特性：Spark 3.0+支持将配置设为只读（通过spark.conf.setReadOnly方法，该API为私有，可通过反射实现），一旦设置，后续无法修改该配置项。

内容的提问来源于stack exchange，提问作者ChoclateFactory