Dataproc PySpark任务报错却显示完成，如何获取正确的YARN任务状态

步骤1：获取完整的任务ID与YARN应用ID #

你之前执行的提交命令默认返回的信息不全，首先执行以下命令拉取任务的完整元数据：

gcloud dataproc jobs describe <替换为你的JOB_ID> --cluster=<替换为集群名> --region=<替换为集群所属区域>

返回结果的yarnApplications字段中会包含完整的applicationId值（格式类似application_1635688800000_0001）。

步骤2：查询YARN侧真实状态 #

你可以选择以下任意一种方式获取真实运行状态：

• 命令行直接查询：通过SSH连接集群节点执行YARN状态查询命令，返回结果中的Final-State字段为任务的真实最终状态，附带失败原因说明：

  gcloud dataproc clusters ssh <替换为集群名> --region=<替换为集群所属区域> --command="yarn application -status <替换为上一步拿到的YARN应用ID>"
  

• 拉取全量运行日志：执行以下命令获取任务运行的全量输出，包括PySpark代码抛出的异常栈信息：

  gcloud dataproc jobs wait <替换为你的JOB_ID> --cluster=<替换为集群名> --region=<替换为集群所属区域>
  

• 页面查询：通过Dataproc集群的Web界面代理进入YARN UI，搜索对应YARN应用ID即可查看完整的Stage执行记录、资源使用情况和报错信息。

状态不一致原因说明 #

你遇到的Dataproc标记任务成功但实际任务失败的情况，通常是因为PySpark代码中捕获了异常但未抛出非0退出码，YARN只会根据应用进程的最终退出码判断状态，退出码为0时就会标记为FINISHED，Dataproc会同步该状态。你可以在代码异常分支中显式添加sys.exit(1)确保错误发生时返回非0退出码，避免后续下游任务误判。

内容的提问来源于stack exchange，提问作者Appden65