Jupyter Notebook远程连接Spark集群执行Pi示例异常求助

这种情况我之前也碰到过好几次——连接集群成功但一跑任务就报错，大概率是环境不匹配、网络连通性或者代码细节的问题，咱们一步步来排查：

1. 补全代码中的依赖导入 #

你的Pi示例用到了random()和add，但代码里没看到导入语句！本地运行时可能因为环境已经加载了这些模块，但集群Worker节点的Python环境不会自动帮你导入：

• 必须在代码开头加上完整的导入：

  import random
  from operator import add
  

  （random和operator是Python标准库，一般Worker节点都有，但还是要确认导入语句不能少）

2. 确保Worker能回连Driver #

Spark任务运行时，Worker节点需要主动连接回你的Jupyter所在机器（也就是Driver）来传输任务和结果，哪怕你能连上Master，Worker可能没法访问你的机器：

• 关闭Jupyter机器的防火墙，或者手动开放Spark Driver的端口（可以在配置里指定固定端口，避免随机端口的问题）：

  conf = pyspark.SparkConf() \
      .setAppName('Pi') \
      .setMaster('spark://my-cluster:7077') \
      .set("spark.driver.port", "50000") \
      .set("spark.driver.host", "你的Jupyter机器公网/内网IP")
  

• 测试Worker节点能不能ping通你的Jupyter机器IP，如果不行，得调整网络策略（比如开启内网互通、配置安全组）。

3. 统一Python环境版本 #

本地Jupyter的Python版本必须和集群所有Worker节点的Python版本一致！版本不匹配会导致各种奇怪的序列化/执行错误：

• 在Jupyter里运行：

  import sys
  print(sys.version)
  

• 然后登录每个Worker节点，执行同样的命令对比版本。如果不一致，要么升级/降级Worker的Python，要么在SparkConf里指定Worker要用的Python路径：

  conf.set("spark.pyspark.python", "/usr/bin/python3.8")  # 换成Worker上正确的Python路径
  

4. 查看集群Worker日志找细节 #

Jupyter里的报错信息可能不全，去Worker节点的日志里找具体原因：

• 日志默认在$SPARK_HOME/logs目录下，打开最新的worker-*.out日志，里面会明确告诉你是模块缺失、权限不足还是内存不够。

5. 检查临时目录权限 #

Spark运行时需要读写临时目录，如果Jupyter的运行用户没有Worker节点临时目录的权限，也会报错：

• 可以在SparkConf里指定一个所有Worker都能访问且可写的自定义临时目录：

  conf.set("spark.local.dir", "/data/spark-tmp")
  

  提前在每个Worker节点创建这个目录并设置好权限。

建议先从第1点开始排查，导入缺失是最容易忽略的小问题，解决后再一步步验证其他环节。

内容的提问来源于stack exchange，提问作者beginner_