SparkAppHandle.Listener与SparkLauncher状态异常转换问题排查

问题背景 #

通过SparkAppHandle.Listener结合SparkLauncher监控PySpark项目状态时，发现状态流转不符合预期：

• 预期失败状态流转：

  Connected -> Submitting -> Running -> Failed

• 实际失败状态流转：

  Connected -> Submitting -> Running -> Finished -> Failed

另外，提交纯Python脚本时会立即进入Lost状态。已实现监听器打印状态变化，并查看过Spark日志分析事件序列。

问题1：失败前出现Finished状态是否符合预期？哪些情况会导致该现象？ #

这种状态流转不符合常规预期，通常是作业执行逻辑或Spark状态判定机制出现异常导致，常见触发场景包括：

• Driver主逻辑执行完成，但后续清理/上报环节出错：Python代码跑完后Driver进程退出，但JVM侧的后续资源清理（如Executor销毁）抛出异常，或者集群向Launcher上报状态时出现延迟/错误，导致先上报Finished，后续修正为Failed。
• 作业存在"假完成"逻辑：PySpark的Python主进程正常退出，但JVM Driver后续发现未处理的异步异常（如Shuffle阶段的遗留错误、外部资源释放失败），触发状态变更为Failed。
• Spark版本兼容性bug：部分旧版本（如Spark 2.x部分分支）的SparkLauncher状态上报逻辑存在缺陷，会出现状态时序错误。

问题2：纯Python脚本为何立即进入Lost状态？需检查脚本或集群配置的哪些内容来解决？ #

纯Python脚本提交后立即Lost，核心是Spark无法正常启动或关联Driver进程，需从脚本和集群配置两方面排查：

脚本层面检查项 #

• 解释器路径是否正确：脚本开头需通过#!/usr/bin/env python3这类声明指定集群可访问的Python解释器，避免因找不到环境导致进程直接崩溃。
• 依赖包是否存在：脚本依赖的Python包需在集群所有节点上都已安装，缺失依赖会导致Driver启动时直接报错退出。
• 脚本权限是否合规：确保脚本拥有可执行权限（执行chmod +x script.py），否则集群无法执行该脚本。

集群配置层面检查项 #

• PySpark Python环境配置：检查spark-defaults.conf中的spark.pyspark.python配置，确保指定的Python路径在所有集群节点都可访问。
• Driver资源配置：确认spark.driver.memory、spark.driver.cores等参数分配足够，避免因资源不足导致Driver被系统杀死。
• 网络连通性：检查提交节点与集群Master/Worker节点的网络是否通畅，防火墙是否阻止了SparkLauncher与Driver的通信，导致Launcher无法获取状态而判定为Lost。
• 日志目录权限：Driver日志目录需具备写入权限，若无法写入日志，可能导致状态上报失败，触发Lost状态。

内容的提问来源于stack exchange，提问作者Mostafa mohamed