在Jupyter Notebook（Python3.5）运行Spark Streaming网络词频统计时遇Py4JJavaError

嘿，我来帮你捋捋在Jupyter Notebook里跑这个Spark Streaming词频统计程序时，Py4JJavaError的常见原因和解决办法——这种问题在Jupyter环境里跑Spark确实挺容易碰到的，咱们一步步来排查：

1. 先确认Spark与Python版本的兼容性 #

Py4JJavaError经常出现在版本不匹配的情况里。你用的是Python3.5，得确保你的Spark版本是2.1及以上（Spark 2.1才开始正式支持Python3.5）。可以在终端里执行spark-submit --version查看Spark版本，如果版本太老，建议升级到对应兼容的Spark版本。

2. 确保Jupyter正确加载Spark环境 #

Jupyter默认不会自动识别Spark的环境变量，这是很多人踩的坑。你可以用两种方式解决：

• 方式一：手动设置环境变量
  在代码最开头加上这段，替换成你自己的Spark安装路径：

  import os
  os.environ['SPARK_HOME'] = '/usr/local/spark'  # 你的Spark安装目录
  # 注意py4j的版本号要和你Spark/lib里的对应，比如spark 2.4对应的是py4j-0.10.7-src.zip
  os.environ['PYTHONPATH'] = os.path.join(os.environ['SPARK_HOME'], 'python') + ':' + os.path.join(os.environ['SPARK_HOME'], 'python', 'lib', 'py4j-0.10.7-src.zip')
  

• 方式二：用findspark自动加载
  先安装findspark：pip install findspark，然后在代码开头加：

  import findspark
  findspark.init()
  

  这个库会自动帮你配置Spark的环境变量，省心很多。

3. 检查端口监听服务是否启动 #

你的代码里指定了连接localhost:9999，但如果没有在本地启动一个监听这个端口的服务，Spark Streaming会因为连接失败抛出Py4JJavaError。解决方法很简单：
打开一个新的终端窗口，执行：

nc -lk 9999

这个命令会启动一个持续监听9999端口的服务，之后你在Jupyter里运行代码，就能正常接收数据了。

4. 避免重复创建SparkContext #

Jupyter的内核是持续运行的，如果之前你已经创建过SparkContext，再次运行代码时会因为重复初始化抛出错误。你可以在代码里先检查并停止已有的SC：

from pyspark import SparkContext
try:
    sc.stop()  # 停止可能存在的SparkContext
except:
    pass  # 如果没有的话就忽略

5. 调整Spark资源配置（可选） #

如果你的本地内存不足，也可能触发Py4JJavaError。可以在创建SparkContext时指定驱动内存：

from pyspark import SparkConf
conf = SparkConf().setAppName("NetworkWordCount").setMaster("local[2]").set("spark.driver.memory", "2g")
sc = SparkContext(conf=conf)

调整后的完整示例代码 #

把上面的优化点整合起来，你可以试试这段代码：

import findspark
findspark.init()

from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext

# 清理已有SparkContext
try:
    sc.stop()
except:
    pass

# 配置Spark上下文
conf = SparkConf().setAppName("NetworkWordCount").setMaster("local[2]").set("spark.driver.memory", "2g")
sc = SparkContext(conf=conf)
ssc = StreamingContext(sc, 1)

lines = ssc.socketTextStream("localhost", 9999)
words = lines.flatMap(lambda line: line.split(" "))
pairs = words.map(lambda word: (word, 1))
wordCount = pairs.reduceByKey(lambda x, y: x + y)
wordCount.pprint()

ssc.start()
ssc.awaitTermination()

记得先在终端启动nc -lk 9999，再运行Jupyter里的代码，这样应该就能解决Py4JJavaError的问题了。

内容的提问来源于stack exchange，提问作者blaze