SparkSession是否依赖SparkContext运行？实例化报错需显式创建原因？

我基于jupyter/all-spark-notebook构建了Docker镜像，安装geomesa_pyspark后运行官方示例代码：

import geomesa_pyspark
import pyspark
from pyspark.sql import SparkSession

conf = geomesa_pyspark.configure(
        jars=['/usr/local/spark/jars/geomesa-accumulo-spark-runtime_2.11-2.0.0.jar'],
        packages=['geomesa_pyspark','pytz'],
        spark_home='/usr/local/spark/').\
        setAppName('MyTestApp')

#sc = pyspark.SparkContext()

spark = ( SparkSession
    .builder
    .config(conf=conf)
    .enableHiveSupport()
    .getOrCreate()
)

当注释掉sc = pyspark.SparkContext()时，执行代码会抛出Py4JJavaError（具体为io.netty.util.concurrent.MultithreadEventExecutorGroup的AbstractMethodError）；取消注释该行则执行正常。

我的环境版本：Spark 2.4.5、Hadoop 2.7、java-1.8.0-openjdk-amd64。

疑问：SparkSession 不是应该包含 SparkContext 吗？为什么需要显式创建 SparkContext 才能正常运行？

核心原因 #

1. 依赖加载顺序冲突
   Geomesa的Spark运行时依赖与Spark默认的Netty版本存在兼容性问题。显式创建SparkContext时，会提前触发Spark核心依赖的加载，优先初始化兼容的Netty版本；仅通过SparkSession初始化时，Geomesa的依赖可能先被加载，导致Netty类的方法不匹配，抛出AbstractMethodError。

2. SparkSession初始化的隐性逻辑
   虽然SparkSession内部确实会创建或关联SparkContext，但你的场景中，geomesa_pyspark.configure()返回的配置在SparkSession初始化时，会先触发Geomesa相关依赖的解析与加载，此时Spark核心的Netty类还未完成初始化，从而引发版本冲突。

解决方案 #

1. 显式控制依赖加载顺序
   保留显式初始化SparkContext的逻辑，同时避免重复创建：

import geomesa_pyspark
import pyspark
from pyspark.sql import SparkSession

conf = geomesa_pyspark.configure(
        jars=['/usr/local/spark/jars/geomesa-accumulo-spark-runtime_2.11-2.0.0.jar'],
        packages=['geomesa_pyspark','pytz'],
        spark_home='/usr/local/spark/').\
        setAppName('MyTestApp')

# 先确保SparkContext已初始化，复用已有实例
sc = pyspark.SparkContext.getOrCreate(conf=conf)

spark = ( SparkSession
    .builder
    .config(conf=sc.getConf())
    .enableHiveSupport()
    .getOrCreate()
)

2. 统一Netty版本
   在Spark配置中强制指定与Geomesa兼容的Netty版本，修改conf配置：

conf = geomesa_pyspark.configure(
        jars=['/usr/local/spark/jars/geomesa-accumulo-spark-runtime_2.11-2.0.0.jar'],
        packages=['geomesa_pyspark','pytz', 'io.netty:netty-all:4.1.25.Final'], # 替换为兼容版本
        spark_home='/usr/local/spark/').\
        setAppName('MyTestApp')

注：Spark 2.4.5默认使用Netty 4.1.25.Final，可匹配Geomesa 2.0.0的版本要求，若版本不匹配需对应调整。

3. 调整镜像构建依赖顺序
   在Docker镜像构建阶段，先完成Spark核心环境的配置，再安装geomesa_pyspark，确保核心类优先加载。

内容的提问来源于stack exchange，提问作者Luigi