在GCloud Dataproc Spark集群PySpark Shell中无法导入GraphFrames

首先，我注意到你遇到的核心问题是版本不匹配：你在创建集群时指定的GraphFrames版本是适配Spark 2.1的（graphframes:graphframes:0.2.0-spark2.1-s_2.11），但启动PySpark时却用了适配Spark 2.0的版本（graphframes:graphframes:0.2.0-spark2.0-s_2.11），这会导致依赖包和集群的Spark环境不兼容，进而触发导入错误。

下面是两种正确的解决方法：

方法一：利用集群预安装的GraphFrames（推荐） #

你在创建集群时已经通过--metadata spark-packages=...参数把GraphFrames安装到了集群的全局Spark环境中，所以启动PySpark时不需要再重复指定--packages参数，直接运行：

pyspark

此时PySpark会自动加载集群预安装的GraphFrames包，执行from graphframes import *就可以正常导入了。

方法二：手动指定匹配版本的GraphFrames #

如果你需要在启动PySpark时手动指定包，必须确保版本和集群的Spark版本完全匹配：

1. 先确认你的Dataproc集群使用的Spark版本：可以通过集群详情页查看，或者在主节点运行spark-submit --version查看。
2. 启动PySpark时使用和集群Spark版本对应的GraphFrames版本，比如你的集群是Spark 2.1，就运行：

pyspark --packages graphframes:graphframes:0.2.0-spark2.1-s_2.11

这样下载的包和集群环境兼容，就能成功导入了。

额外注意事项 #

• 避免同时使用--metadata spark-packages和pyspark --packages指定不同版本的包，这会导致依赖冲突。
• 如果你的Dataproc集群使用的是更高版本的Spark（比如2.2+），建议使用对应版本的GraphFrames（比如适配Spark 3.0的graphframes:graphframes:0.8.2-spark3.0-s_2.12）。

内容的提问来源于stack exchange，提问作者Progmatix