Spark-submit在YARN任务失败时退出码仍为0，Unix脚本状态识别求助

我之前也踩过这个坑！核心原因是默认情况下，spark-submit的退出码不一定能准确反映YARN上任务的最终执行状态——比如在cluster部署模式下，spark-submit只是把任务提交到YARN集群就返回0了，不会等待任务跑完；就算是client模式，也可能因为某些YARN层面的异常导致退出码不匹配。下面分享两种亲测有效的解决方案：

方案一：强制spark-submit等待任务完成并返回正确退出码 #

最简单的方式是给spark-submit添加--conf spark.yarn.submit.waitAppCompletion=true参数，让它一直等到YARN应用结束，再根据任务的最终状态返回对应退出码（成功返回0，失败返回非0）。

示例脚本：

#!/bin/bash

# 提交Spark任务，强制等待任务执行完成
spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --conf spark.yarn.submit.waitAppCompletion=true \
  --class com.your.package.YourMainClass \
  /path/to/your-spark-app.jar \
  arg1 arg2

# 捕获spark-submit的退出码
SPARK_EXIT_CODE=$?

# 根据退出码判断任务状态
if [ $SPARK_EXIT_CODE -ne 0 ]; then
  echo "❌ Spark任务在YARN上执行失败，退出码: $SPARK_EXIT_CODE"
  exit $SPARK_EXIT_CODE
else
  echo "✅ Spark任务执行成功！"
fi

这个方案的优势是简单直接，不需要额外的状态查询逻辑，适合大多数场景。

方案二：通过YARN应用ID主动轮询任务状态 #

如果需要更精细的状态监控（比如中间打印任务运行日志、处理任务被杀死的情况），可以先提取YARN应用ID，然后通过yarn application -status命令轮询状态。

示例脚本：

#!/bin/bash

# 提交任务并捕获输出，用于提取应用ID
SPARK_SUBMIT_OUTPUT=$(spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --class com.your.package.YourMainClass \
  /path/to/your-spark-app.jar \
  arg1 arg2)

# 从输出中提取YARN应用ID（匹配application_xxxxxxxxx_xxxx格式）
APP_ID=$(echo "$SPARK_SUBMIT_OUTPUT" | grep -o 'application_[0-9]*_[0-9]*')

# 检查是否成功获取应用ID
if [ -z "$APP_ID" ]; then
  echo "❌ 无法获取YARN应用ID，任务提交可能失败"
  exit 1
fi
echo "✅ 任务已提交，YARN应用ID: $APP_ID"

# 轮询任务状态
while true; do
  # 获取当前应用状态
  APP_STATUS=$(yarn application -status "$APP_ID" | grep 'State:' | awk '{print $2}')
  
  case $APP_STATUS in
    SUCCEEDED)
      echo "🎉 任务成功完成！"
      exit 0
      ;;
    FAILED|KILLED)
      echo "❌ 任务失败，最终状态: $APP_STATUS"
      exit 1
      ;;
    RUNNING|ACCEPTED)
      echo "⏳ 任务正在运行，当前状态: $APP_STATUS，30秒后再次检查..."
      sleep 30
      ;;
    *)
      echo "❓ 未知状态: $APP_STATUS，30秒后再次检查..."
      sleep 30
      ;;
  esac
done

这个方案适合需要自定义状态处理逻辑的场景，比如任务失败后自动重试、或者推送状态通知等。

常见注意事项 #

• 如果使用client部署模式，driver运行在本地机器上，需要确保本地机器不会在任务运行过程中断开连接，否则会导致driver退出，任务失败。
• 有些情况下，YARN应用可能因为资源不足被杀死，此时spark-submit的退出码可能不会直接反映，这时候方案二的轮询方式能更准确捕获状态。

内容的提问来源于stack exchange，提问作者user10437665