本地Jupyter Notebook连接Docker部署Spark独立集群问题咨询

核心结论 #

完全可以实现本地Jupyter Notebook连接Docker中运行的Spark集群，你的报错主要由本地缺少Java环境和可能的版本不匹配导致，以下是具体解决步骤：

1. 解决JAVA_HOME未设置的问题 #

本地运行PySpark时，无论连接本地还是远程Spark集群，都需要Java环境来启动PySpark的Java Gateway进程（容器内正常是因为容器本身预装了Java）：

• 安装对应版本的Java（建议和Docker中Spark使用的Java版本一致，比如Spark 3.x适配Java 8或11）
• 设置环境变量：
  • Linux/macOS：在终端执行export JAVA_HOME=/path/to/your/java，并写入~/.bashrc或~/.zshrc实现永久生效
  • Windows：在系统环境变量中添加JAVA_HOME，指向Java安装根目录

2. 修正SPARK_HOME配置 #

你当前的SPARK_HOME设置是正确的（指向Python site-packages中的pyspark目录），但必须保证本地PySpark版本和Docker中Spark集群的版本完全一致（比如都是3.3.2）：

• 查看Docker中Spark版本：进入容器执行spark-submit --version
• 本地安装对应版本的PySpark：pip install pyspark==<exact-version>
• 验证SPARK_HOME：在终端执行echo $SPARK_HOME，确认指向的是对应版本的pyspark目录

3. 其他必要验证与配置 #

• 网络连通性：确保本地能ping通Docker宿主机的IP，且7077端口未被防火墙拦截，可通过telnet <my-ip> 7077测试连通性
• Jupyter环境变量：若Jupyter未读取系统环境变量，可在Notebook开头手动设置：

  import os
  os.environ['JAVA_HOME'] = '/path/to/your/java'
  os.environ['SPARK_HOME'] = '/home/user/.local/lib/python3.8/site-packages/pyspark'
  os.environ['PYSPARK_PYTHON'] = '/usr/bin/python3'
  

• 终端测试先行：先在本地终端执行pyspark --master spark://<my-ip>:7077，如果能成功进入Spark Shell，再回到Jupyter中运行代码，排除Notebook环境的问题

验证代码 #

设置好环境后，重新运行你的SparkSession代码（确保<my-ip>替换为Docker宿主机的真实IP）：

spark = SparkSession.builder \
    .appName("practice") \
    .master("spark://<my-ip>:7077") \
    .getOrCreate()

# 测试连接状态
print(spark.sparkContext.master)

内容的提问来源于stack exchange，提问作者meowmoi