Azure DevOps流水线中SparkSession已存在导致配置不生效求助

问题重现 #

在Azure Linux虚拟机的DevOps流水线中执行SparkSession初始化代码时，出现警告WARN SparkSession: Using an existing Spark session; only runtime SQL configurations will take effect.，自定义的appName、spark.jars、spark.sql.extensions等配置全部不生效，尝试用spark.set.conf修改静态配置时触发AnalysisException错误。本地运行正常，防火墙限制无法从Maven直接加载依赖，且已排查无显式提前创建会话的操作。

解决方案 #

1. 强制关闭已有会话后重建 #

Spark的getOrCreate()会复用已存在的会话，而静态配置（如spark.jars、扩展类）必须在会话创建前设置。在初始化代码前添加关闭逻辑，确保从头构建新会话：

from pyspark.sql import SparkSession

# 关闭已激活的Spark会话
try:
    active_spark = SparkSession.getActiveSession()
    if active_spark:
        active_spark.stop()
        # 等待会话完全终止
        import time
        time.sleep(2)
except Exception as e:
    pass

# 重新构建自定义配置的SparkSession
jars_to_load = ['jarfile1.jar', 'jarfile2.jar']
builder = (
    SparkSession.builder \
    .appName('MySparkSession')
    .config("spark.jars", ",".join(jars_to_load))
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    .config("spark.some.config.option", "unique-value")
    .master("local[*]")
)
spark = builder.getOrCreate()
print(spark.sparkContext.getConf().getAll())

2. 排查流水线环境的隐性会话触发点 #

流水线环境中常存在隐性的Spark初始化操作，需逐一排查：

• 检查Azure DevOps流水线任务：是否使用了Spark相关的预定义任务模板，或在当前任务前执行了含Spark初始化的脚本。
• 查看虚拟机配置：检查SPARK_HOME/conf/spark-defaults.conf是否有自动启动会话的配置；排查系统级启动脚本（如/etc/profile.d/下的Spark脚本）。
• 检查Python环境：确认虚拟环境/conda环境中是否有预加载的Spark模块，在脚本执行前就触发了Session创建。

3. 通过环境变量传递静态配置 #

Spark会自动读取前缀为SPARK_的环境变量，将静态配置提前设置为流水线环境变量，可覆盖默认配置：
在Azure流水线任务中添加环境变量：

SPARK_JARS=jarfile1.jar,jarfile2.jar
SPARK_SQL_EXTENSIONS=io.delta.sql.DeltaSparkSessionExtension
SPARK_SQL_CATALOG_SPARK_CATALOG=org.apache.spark.sql.delta.catalog.DeltaCatalog
SPARK_APP_NAME=MySparkSession

注：环境变量中的配置会在Spark启动时生效，优先级高于代码中的builder配置。

4. 确认JAR文件路径正确性 #

流水线环境中文件路径常与本地不同，需验证JAR文件的实际位置：

• 在脚本中添加路径检查：

  import os
  jars = ['jarfile1.jar', 'jarfile2.jar']
  for jar in jars:
      print(f"Jar path exists: {os.path.exists(jar)}")
  print(f"Current working directory: {os.getcwd()}")
  

• 使用绝对路径指定JAR位置，例如/home/azureuser/pipeline/workspace/jars/jarfile1.jar。

内容的提问来源于stack exchange，提问作者deblue