You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

本地执行spark-submit报错py4j.protocol.Py4JJavaError: JAVA_9字段缺失

我之前碰到过完全一样的报错,咱们来一步步搞定它:

问题根源

这个NoSuchFieldError: JAVA_9错误本质是Java版本不匹配导致的:JAVA_9是Java 9及以上版本才会有的系统常量,而你的环境用的是Java 8,Spark相关组件在加载时试图调用这个只有高版本Java才有的字段,自然就报错了。虽然PySpark 3.0.1官方明确支持Java 8,但大概率是你的环境里有Java版本残留或者依赖加载冲突。

具体解决方案

1. 确认并锁定Java 8环境

先检查当前系统使用的Java版本:

java -version
echo $JAVA_HOME  # Linux/macOS环境执行
# Windows环境执行 echo %JAVA_HOME%

如果输出不是OpenJDK 1.8,就切换到正确版本:

  • Linux可以用update-alternatives --config java选择OpenJDK 1.8
  • Windows需要在系统环境变量里把JAVA_HOME指向OpenJDK 1.8的安装目录,并把%JAVA_HOME%\bin移到PATH最前面

2. 重新安装适配Java 8的PySpark

如果是通过pip安装的PySpark,可能缓存了不兼容的依赖,重新安装试试:

pip uninstall -y pyspark
pip install pyspark==3.0.1 --no-cache-dir

3. 执行命令时强制指定Java路径

如果环境变量配置还是有问题,可以在spark-submit命令前直接指定JAVA_HOME:

JAVA_HOME=/path/to/your/openjdk1.8 spark-submit --master local --executor-cores 1 --queue default --deploy-mode client test.py

(把/path/to/your/openjdk1.8替换成你实际的Java 8安装路径)

4. 检查代码中的额外依赖

如果你的test.py里引入了第三方Jar包,要确保这些Jar包是兼容Java 8的,避免引入只支持Java 9+的库导致冲突。

内容的提问来源于stack exchange,提问作者user9040429

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.05.11 07:46:25