Anaconda环境Spyder中PySpark导入SparkConf报错求助

我看到你遇到的问题了——在Anaconda的testenv1环境里装了PySpark，切换了Spyder的解释器后还是没法导入SparkConf和SparkContext，报错ImportError: cannot import name 'SparkConf'。

问题根源 #

看你的报错信息里的路径：

File "/Users/myuser/dev/projects/python-snippets/pyspark.py", line 13, in <module>
    from pyspark import SparkConf, SparkContext

你的脚本文件名是pyspark.py，这会和你要导入的PySpark库重名！Python在导入模块时，会优先在当前工作目录查找同名文件，所以当你写from pyspark import ...的时候，Python会尝试从你自己的pyspark.py里导入，而不是site-packages里的官方PySpark库，这就直接导致了找不到SparkConf的错误。

解决方案 #

• 重命名你的脚本文件
  把当前的pyspark.py改成别的名字，比如pyspark_wordcount.py，彻底避免和PySpark库名冲突，这是最关键的一步。
• 清理残留的编译文件
  Python会生成.pyc编译文件，即使你重命名了脚本，残留的pyspark.pyc文件可能还会干扰导入逻辑，所以要删除当前目录下的：
  • 原pyspark.py文件（已经重命名的话可忽略）
  • __pycache__文件夹（如果存在的话）
• 调整SPARK_HOME的设置（可选）
  其实通过conda安装的PySpark环境，conda已经帮你配置好了必要的环境变量，通常不需要手动设置SPARK_HOME。你可以尝试注释掉os.environ['SPARK_HOME'] = ...这一行，再重新运行脚本。

验证步骤 #

完成上面的操作后，重启Spyder，运行修改后的脚本：

# 注释掉手动设置的SPARK_HOME（可选）
# import os
# os.environ['SPARK_HOME'] = "/Users/myuser/anaconda3/envs/testenv1/lib/python3.6/site-packages/pyspark"

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("WordCount")
sc = SparkContext(conf = conf)

这样应该就能正常导入并初始化SparkContext了。

内容的提问来源于stack exchange，提问作者Jas