Mac本地PyCharm运行Spark创建JavaSparkContext报Netty NoSuchMethodError

这个错误是典型的Netty版本冲突，运行时加载的Netty包版本和Spark 3.1.1依赖的Netty版本不匹配，导致对应构造方法不存在。

• 先确认虚拟环境内pyspark版本：在激活虚拟环境的终端执行pip show pyspark，检查版本号是否和本地安装的Spark 3.1.1完全一致，版本不匹配是这类冲突最高发的原因。
• 检查项目是否引入了其他携带Netty的依赖：如果项目安装了hadoop相关工具包、其他大数据组件依赖，很可能携带了版本不兼容的Netty包，覆盖了Spark自带的Netty版本。
• 确认PyCharm运行环境的变量配置：PyCharm默认不会自动加载终端的bash/zsh全局环境变量，需要手动检查运行配置里的SPARK_HOME和JAVA_HOME是否和你终端的配置一致。

• 对齐pyspark版本：如果虚拟环境内pyspark版本和本地Spark版本不一致，先执行pip uninstall pyspark卸载现有版本，再安装对应版本：pip install pyspark==3.1.1
• 强制Spark优先加载自带依赖：如果版本对齐后仍然报错，在SparkConf配置中增加类路径加载优先级设置：

conf = SparkConf().setAppName('test').setMaster('local[*]')\
    .set("spark.driver.userClassPathFirst", "true")\
    .set("spark.executor.userClassPathFirst", "true")
sc = SparkContext(conf=conf)

• 手动配置PyCharm运行环境变量：打开PyCharm右上角运行配置的编辑界面，找到Environment Variables选项，新增两个条目：
  • JAVA_HOME: /Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home
  • SPARK_HOME: /Users/myname/spark-3.1.1-amzn-0-bin-3.2.1-amzn-3
• 简化方案：直接卸载本地Spark，删除系统全局的SPARK_HOME配置，仅保留虚拟环境内安装的pyspark，pyspark自带独立的Spark运行时，不需要额外配置本地Spark环境即可运行。

内容的提问来源于stack exchange，提问作者rodrigocf