Spark History Server在K8s中启动后立即退出并进入CrashLoopBackOff排查

核心原因 #

Spark官方提供的start-history-server.sh脚本默认会将History Server进程以后台守护进程的方式启动，脚本本身执行完成后就会立即退出。

而你的entrypoint脚本中使用exec命令调用该启动脚本：

exec /usr/bin/tini -s -- $SPARK_HOME/sbin/start-history-server.sh

exec会替换当前shell进程为启动脚本进程，当启动脚本执行完毕退出时，容器的PID 1进程（也就是这个脚本进程）就会终止，Kubernetes会判定容器运行结束，直接进入Completed状态，随后触发重启逻辑进入CrashLoopBackOff。

而你手动进入Pod启动时，是在交互式shell中执行脚本，脚本后台启动History Server后会回到shell，此时容器的主进程是shell而非启动脚本，所以History Server能持续运行。

额外注意点 #

你配置的环境变量中日志目录为/execution-events，但部署时挂载的共享卷路径是/execution-event（少了一个s），虽然手动启动能生成文件，可能是临时目录或笔误，建议确认路径一致性，避免后续无法读取Spark应用日志的问题。

解决方案 #

要让容器持续运行，需要让History Server进程以前台方式运行，替代原有的后台启动脚本：

方案1：直接调用Spark主类（推荐） #

修改entrypoint中的启动命令，直接执行History Server的主类，强制前台运行：

# 导出SPARK_HOME后，执行以下命令
exec /usr/bin/tini -s -- $SPARK_HOME/bin/spark-class org.apache.spark.deploy.history.HistoryServer

这种方式下，History Server进程会作为容器的PID 1进程，持续运行直到主动终止，容器也会保持Running状态。

方案2：修改启动脚本逻辑 #

如果必须使用start-history-server.sh，可以在entrypoint中执行脚本后，等待后台进程结束：

# 导出SPARK_HOME后
$SPARK_HOME/sbin/start-history-server.sh
# 等待后台进程（依赖Spark生成的PID文件）
wait $(cat $SPARK_HOME/logs/spark-*.pid)

不过这种方式依赖PID文件，可靠性不如直接前台启动主类。

内容的提问来源于stack exchange，提问作者thomas