Py4JJavaError调用o65.showString报错求助：Spark+GraphFrames代码问题

核心问题分析 #

你的错误主要来自两个方面：Spark与GraphFrames版本不兼容，以及代码中的路径、API使用错误。

修复步骤 #

1. 匹配GraphFrames与Spark版本 #

你当前使用Spark 3.3.1，但GraphFrames 0.8.2是为Spark 3.2编译的，minor版本不匹配会导致底层Java API调用冲突，直接引发Py4JJavaError。

• 替换为适配Spark 3.3的GraphFrames版本：下载graphframes-0.8.3-spark3.3-s_2.12.jar，同时下载对应的Python支持包graphframes.zip（这是PySpark调用GraphFrames必需的Python层代码）。

2. 修正代码中的错误 #

（1）统一使用SparkSession入口

Spark 3.x中SQLContext和SparkContext已被SparkSession替代，后者是统一的上下文入口，避免API过时问题。

（2）修复路径转义问题

Windows路径中的反斜杠需要转义为\\，或者用原始字符串r'路径'表示，否则会被Python解析为特殊字符。

（3）正确加载GraphFrames资源

• Jar包需要通过Spark配置加载，而非addPyFile；addPyFile专门用来加载对应的Python zip包。

修正后的完整代码：

from pyspark.sql import SparkSession
from graphframes import GraphFrame

# 初始化SparkSession，指定GraphFrames的jar包路径
spark = SparkSession.builder \
    .appName("GraphFramesExample") \
    .config("spark.jars", "C:\\Program Files\\spark-3.3.1-bin-hadoop3\\jars\\graphframes-0.8.3-spark3.3-s_2.12.jar") \
    .getOrCreate()

# 添加GraphFrames的Python支持文件（graphframes.zip的路径）
spark.sparkContext.addPyFile("C:\\Program Files\\spark-3.3.1-bin-hadoop3\\jars\\graphframes.zip")

# 创建顶点DataFrame
v = spark.createDataFrame([
    ("a", "Alice", 34),
    ("b", "Bob", 36),
    ("c", "Charlie", 30),
], ["id", "name", "age"])

# 创建边DataFrame
e = spark.createDataFrame([
    ("a", "b", "friend"),
    ("b", "c", "follow"),
    ("c", "b", "follow"),
], ["src", "dst", "relationship"])

# 创建GraphFrame
g = GraphFrame(v, e)

# 查询入度
g.inDegrees.show()

# 统计follow关系数量
print(g.edges.filter("relationship = 'follow'").count())

# 运行PageRank
results = g.pageRank(resetProbability=0.01, maxIter=20)
results.vertices.select("id", "pagerank").show()

# 关闭会话
spark.stop()

3. 额外注意事项 #

• 如果在Jupyter中运行，建议启动Jupyter前通过环境变量配置Spark的jar包路径，避免每次代码中重复指定：

  set SPARK_OPTS="--jars C:\Program Files\spark-3.3.1-bin-hadoop3\jars\graphframes-0.8.3-spark3.3-s_2.12.jar"
  

• 确保graphframes.zip与jar包版本完全对应，可放置在Spark的jars目录或自定义路径下。

内容的提问来源于stack exchange，提问作者Met