本地执行spark-submit报错py4j.protocol.Py4JJavaError: JAVA_9字段缺失
我之前碰到过完全一样的报错,咱们来一步步搞定它:
问题根源
这个NoSuchFieldError: JAVA_9错误本质是Java版本不匹配导致的:JAVA_9是Java 9及以上版本才会有的系统常量,而你的环境用的是Java 8,Spark相关组件在加载时试图调用这个只有高版本Java才有的字段,自然就报错了。虽然PySpark 3.0.1官方明确支持Java 8,但大概率是你的环境里有Java版本残留或者依赖加载冲突。
具体解决方案
1. 确认并锁定Java 8环境
先检查当前系统使用的Java版本:
java -version echo $JAVA_HOME # Linux/macOS环境执行 # Windows环境执行 echo %JAVA_HOME%
如果输出不是OpenJDK 1.8,就切换到正确版本:
- Linux可以用
update-alternatives --config java选择OpenJDK 1.8 - Windows需要在系统环境变量里把
JAVA_HOME指向OpenJDK 1.8的安装目录,并把%JAVA_HOME%\bin移到PATH最前面
2. 重新安装适配Java 8的PySpark
如果是通过pip安装的PySpark,可能缓存了不兼容的依赖,重新安装试试:
pip uninstall -y pyspark pip install pyspark==3.0.1 --no-cache-dir
3. 执行命令时强制指定Java路径
如果环境变量配置还是有问题,可以在spark-submit命令前直接指定JAVA_HOME:
JAVA_HOME=/path/to/your/openjdk1.8 spark-submit --master local --executor-cores 1 --queue default --deploy-mode client test.py
(把/path/to/your/openjdk1.8替换成你实际的Java 8安装路径)
4. 检查代码中的额外依赖
如果你的test.py里引入了第三方Jar包,要确保这些Jar包是兼容Java 8的,避免引入只支持Java 9+的库导致冲突。
内容的提问来源于stack exchange,提问作者user9040429
相关产品推荐
相关产品推荐

