Docker中SparkSession初始化失败：0.0.0.0:8032连接被拒绝问题排查

错误核心原因 #

报错信息明确显示：Spark尝试连接0.0.0.0:8032时被拒绝，这个端口是Hadoop YARN ResourceManager的默认通信端口。问题出在Spark默认以YARN集群模式启动，但你的Docker容器内并未部署运行YARN服务，导致连接失败。

问题分析 #

你调用geomesa_pyspark.configure()后，没有显式指定Spark的运行模式（spark.master），Spark会读取环境中的默认配置。jupyter/all-spark-notebook镜像的默认配置可能倾向于YARN模式，因此Spark尝试连接YARN的ResourceManager，但容器里没有启动该服务，最终抛出连接拒绝错误。

解决方案 #

方案1：代码中显式指定Local模式

在Spark配置中直接指定以本地模式运行，这是单机容器环境下测试GeoMesa PySpark的最优选择：

import geomesa_pyspark

conf = geomesa_pyspark.configure(
    jars=['/usr/local/spark/jars/geomesa-accumulo-spark-runtime_2.11-2.0.0.jar'],
    packages=['geomesa_pyspark','pytz'],
    spark_home='/usr/local/spark/').\
    setAppName('MyTestApp').\
    setMaster('local[*]')  # 指定使用本地所有核心运行

from pyspark.sql import SparkSession

spark = ( SparkSession
    .builder
    .config(conf=conf)
    .enableHiveSupport()
    .getOrCreate()
)

也可以在SparkSession构建阶段指定：

spark = ( SparkSession
    .builder
    .config(conf=conf)
    .master('local[*]')
    .enableHiveSupport()
    .getOrCreate()
)

方案2：修改Spark默认配置（永久生效）

如果希望容器内Spark默认以Local模式启动，可以修改/usr/local/spark/conf/spark-defaults.conf文件，添加：

spark.master local[*]

方案3：部署YARN集群（如需集群模式）

如果确实需要使用YARN模式，你需要在容器内完整部署Hadoop YARN服务：

• 启动ResourceManager、NodeManager等核心服务
• 配置yarn-site.xml，正确指定ResourceManager的地址（替换默认的0.0.0.0为实际可访问的地址）
  但此方案复杂度高，仅在需要集群计算场景下使用，单机测试不推荐。

内容的提问来源于stack exchange，提问作者Luigi