PySpark与Py4J版本兼容问题及SQL执行报错求助

问题背景 #

本地部署PySpark时，执行以下步骤后抛出Py4J异常：

• 初始化Spark Session
• 创建people视图
• 执行查询：

  spark.sql("Select * From people")
  

错误信息：

Py4JError: An error occurred while calling o24.sql.

Trace:

py4j.Py4JException: Method sql([class java.lang.String, class [Ljava.lang.Object;]) does not exist

at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)

at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)

at py4j.Gateway.invoke(Gateway.java:274)

at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)

at py4j.commands.CallCommand.execute(CallCommand.java:79)

at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)

at py4j.ClientServerConnection.run(ClientServerConnection.java:106)

at java.base/java.lang.Thread.run(Thread.java:1623)

当前环境版本：

• Spark版本：3.3.4
• Java版本：20.0.2
• Python版本：3.11.5
• PySpark版本：3.5.0
• Py4J版本：0.10.9.7

核心原因 #

PySpark与Spark的版本必须完全一致，3.5.0的PySpark和3.3.4的Spark存在API兼容性差异，导致Py4J调用Java端方法时签名不匹配，触发该异常。

解决方案 #

1. 对齐PySpark与Spark版本 #

卸载当前不匹配的PySpark，安装与Spark 3.3.4对应的版本：

pip uninstall pyspark -y
pip install pyspark==3.3.4

验证安装结果：

pip show pyspark

确认输出中的Version字段为3.3.4。

2. 匹配Py4J版本 #

Spark 3.3.4官方适配的Py4J版本为0.10.9.5，替换当前版本：

pip install py4j==0.10.9.5

3. 配置环境变量 #

确保SPARK_HOME指向本地Spark 3.3.4的安装目录，同时将Spark的Python依赖添加到PYTHONPATH：

# Linux/macOS
export SPARK_HOME=/path/to/your/spark-3.3.4
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.5-src.zip:$PYTHONPATH

# Windows（PowerShell）
$env:SPARK_HOME = "C:\path\to\spark-3.3.4"
$env:PYTHONPATH = "$env:SPARK_HOME\python;$env:SPARK_HOME\python\lib\py4j-0.10.9.5-src.zip;$env:PYTHONPATH"

4. 重启环境并验证 #

关闭当前Python解释器、Notebook或终端，重新启动后，执行以下代码验证：

from pyspark.sql import SparkSession

# 初始化Spark Session
spark = SparkSession.builder.appName("VersionTest").getOrCreate()

# 创建测试视图
spark.createDataFrame([(1, "Alice"), (2, "Bob")], ["id", "name"]).createOrReplaceTempView("people")

# 执行查询
spark.sql("SELECT * FROM people").show()

如果正常输出数据，则问题解决。

内容的提问来源于stack exchange，提问作者saurabh ruikar