Java二进制文件存在仍提示“No such file or directory”的Spark运行问题

以下是几种可能导致该问题的原因及排查方向：

• 挂载卷初始化时机不匹配
  Spark启动脚本spark-class可能在挂载卷完全就绪前就执行了。Docker容器启动时，若CMD/ENTRYPOINT命令执行早于卷挂载完成，会出现启动瞬间找不到Java文件的情况——虽然后续能看到文件，但启动阶段已触发报错。可以在执行test.py前增加等待逻辑，比如：

while [ ! -f /opt/jdk1.8.0/bin/java ]; do sleep 1; done
python test.py

• Spark配置硬编码Java路径
  检查Spark配置文件/opt/spark-3.3.1/conf/spark-env.sh，若其中存在JAVA_HOME的硬编码配置，会覆盖你设置的环境变量。确认该配置指向挂载的JDK路径/opt/jdk1.8.0，或直接注释掉该配置项，让Spark使用系统环境变量。

• 挂载卷的安全上下文限制
  即使Java文件权限正常，宿主的SELinux/AppArmor可能给挂载卷的文件添加了容器无法识别的安全标签，导致Spark进程无法访问。挂载卷时添加:z或:Z参数修正标签，示例：

docker run -v /host/path/to/jdk:/opt/jdk1.8.0:z ...

• Java路径的符号链接无效
  若/opt/jdk1.8.0/bin/java是符号链接，需确认链接指向的目标路径在容器内存在。比如宿主中的Java实际路径在容器里没有对应目录，会导致符号链接失效。执行ls -l /opt/jdk1.8.0/bin/java查看链接目标，若无效则替换为Java的实际二进制路径。

• 环境变量未传递至Spark子进程
  你设置的JAVA_HOME和PATH可能仅在当前shell生效，但Spark通过子进程启动时未继承这些变量。可以在启动命令前显式指定环境变量，示例：

JAVA_HOME=/opt/jdk1.8.0 PATH=$JAVA_HOME/bin:$PATH python test.py

内容的提问来源于stack exchange，提问作者Astora